[論文レビュー] Image search using multilingual texts: a cross-modal learning approach between image and text

Maxime Portaz, Hicham Randrianarivo+4 more|arXiv (Cornell University)|Mar 27, 2019

Multimodal Machine Learning Applications参考文献 32被引用数 10

ひとこと要約

本論文は、画像にCNNを、多言語テキストにRNNと多言語単語埋め込み（BIVECまたはMUSE）を用いて、共通のベクトル空間に画像と多言語テキストを統合的に埋め込むクロスモダリティ学習フレームワークを提案する。多言語画像検索において最先端の性能を達成し、BIVECを用いたMulti30Kでは15.15%のrecall@10向上を達成し、MUSEを用いた4言語の多言語検索タスクでは49.38%のrecall@10を達成した。

ABSTRACT

Multilingual (or cross-lingual) embeddings represent several languages in a unique vector space. Using a common embedding space enables for a shared semantic between words from different languages. In this paper, we propose to embed images and texts into a unique distributional vector space, enabling to search images by using text queries expressing information needs related to the (visual) content of images, as well as using image similarity. Our framework forces the representation of an image to be similar to the representation of the text that describes it. Moreover, by using multilingual embeddings we ensure that words from two different languages have close descriptors and thus are attached to similar images. We provide experimental evidence of the efficiency of our approach by experimenting it on two datasets: Common Objects in COntext (COCO) [19] and Multi30K [7].

研究の動機と目的

• 画像とテキストの表現を共有ベクトル空間にアライメントさせることで、多言語テキストクエリを用いた画像検索を可能にすること。
• トレーニング時に見られないターゲット言語であっても、多言語学習データを活用することで画像検索性能を向上させること。
• BIVECとMUSEの2つの多言語埋め込み手法がクロスモダリティ検索タスクに与える効果を評価すること。
• 追加の言語で学習することで、英語を含むすべての言語の検索性能が向上することを示すこと。
• アライメントされた多言語埋め込みを用いて、トレーニング時に見られない言語のクエリからも画像検索を可能にするゼロショット多言語画像検索を実現すること。

提案手法

• フレームワークは、画像から視覚的特徴を抽出し、それらを共有埋め込み空間に射影するための畳み込みニューラルネットワーク（CNN）を用いる。
• テキスト表現は、多言語単語埋め込みで符号化された文を処理する再帰的ニューラルネットワーク（RNN）によって生成される。
• 多言語埋め込みは、BIVECによって二言語の文対を用いて同時に学習されるか、MUSEによって個別に学習された単言語埋め込み間のマッピングが学習される。
• モデルは、同じサンプルの画像とテキスト埋め込み間の対照損失を最小化するように訓練され、共有空間内でそれらが近接するように強制される。
• この手法はゼロショット検索をサポートする：トレーニング時に見られなかった言語のクエリからも、共有多言語空間のおかげで画像を検索可能である。
• フレームワークは双方向検索を可能にする：複数の言語にわたって、テキストクエリから画像を検索でき、画像クエリからテキストを検索することも可能である。

実験結果

リサーチクエスチョン

• RQ1 1つのモデルが、画像と多言語テキストを共有ベクトル空間に統合的に埋め込むことで、クロスリンガル画像検索を可能にすることができるか？
• RQ2 追加の言語で学習することで、トレーニング時に確認された言語および確認されない言語の両方の画像検索性能が向上するか？
• RQ3 BIVECとMUSE埋め込みは、多言語画像検索における性能とゼロショット一般化の観点でどのように比較されるか？
• RQ4 英語の画像検索性能を損なわせることなく、多言語データを活用して英語の検索性能を向上させることができるか？
• RQ5 トレーニング中に新しい言語を追加することで、複数の言語にわたる再現率性能にどのような影響を与えるか？

主な発見

• BIVEC埋め込みを用いることで、モノリンガルベースラインと比較してCOCOデータセットにおけるrecall@10が3.35%の絶対的向上を達成した。
• Multi30Kデータセットでは、BIVECベースの手法がベースラインと比較してrecall@10で15.15%の絶対的向上を示し、強力な多言語一般化性能を示した。
• 英語とフランス語で学習したBIVECモデルは、フランス語で55.22%のrecall@10を達成し、MUSEベースのモデルと比較して26.39%の向上を示した。
• MUSEベースのモデルは、英語、フランス語、ドイツ語、チェコ語の4言語を含む多言語検索タスクで49.38%のrecall@10を達成し、優れたゼロショット性能を示した。
• トレーニング中に新しい言語を追加すると、英語の性能は低下する（recall@1で最大2.62%低下）が、多言語再現率では顕著な向上が見られ、4言語すべてを含めた場合に6.42%の向上を示した。
• モデルは、新しい言語で学習することで、その言語だけでなく、英語を含む他の言語の性能も向上させることを示しており、言語間での正のトランスファーが生じることを示している。