[論文レビュー] Towards Zero-shot Cross-lingual Image Retrieval

Pranav Aggarwal, Ajinkya Kale|arXiv (Cornell University)|Nov 24, 2020

Multimodal Machine Learning Applications参考文献 34被引用数 17

ひとこと要約

本論文は、単語の翻訳なしに非英語言語への一般化を図るゼロショットクロスリンガル画像検索フレームワークを提案する。このフレームワークは、英語の単言語画像・テキストペアのみで学習されるが、推論時に10の非英語言語においても効果的に機能する。クロスリンガル文埋め込み（mUSEおよびLASER）と、テキストクラスタの分離を強化する新規のM3L損失関数を活用することで、強力なゼロショット性能を達成。新しいXTD10ベンチマークにおけるRecall@1は、英語で0.591、ドイツ語で0.522に達し、多言語微調整なしに堅牢なクロスリンガルアライメントを実現している。

ABSTRACT

There has been a recent spike in interest in multi-modal Language and Vision problems. On the language side, most of these models primarily focus on English since most multi-modal datasets are monolingual. We try to bridge this gap with a zero-shot approach for learning multi-modal representations using cross-lingual pre-training on the text side. We present a simple yet practical approach for building a cross-lingual image retrieval model which trains on a monolingual training dataset but can be used in a zero-shot cross-lingual fashion during inference. We also introduce a new objective function which tightens the text embedding clusters by pushing dissimilar texts from each other. Finally, we introduce a new 1K multi-lingual MSCOCO2014 caption test dataset (XTD10) in 7 languages that we collected using a crowdsourcing platform. We use this as the test set for evaluating zero-shot model performance across languages. XTD10 dataset is made publicly available here: https://github.com/adobe-research/Cross-lingual-Test-Dataset-XTD10

研究の動機と目的

• 単語の翻訳なしに、英語の単言語学習データのみを用いてゼロショットクロスリンガル画像検索を可能にすること。
• クロスリンガル画像検索のための多言語評価データセットの不足を是正すること。
• 新規の損失関数によりテキスト埋め込みクラスタの分離を強化することで、クロスリンガルアライメントを向上させること。
• 多言語微調整なしに、10の低リソース非英語言語におけるモデルの一般化性能を評価すること。

提案手法

• メトリック学習を用いて、単語の翻訳なしに英語の単言語画像・テキストペアのみで視覚言語モデルを学習し、画像とテキストを共有の埋め込み空間にマップする。
• ゼロショット推論を複数言語で可能にするために、事前学習済みのクロスリンガル文埋め込み（mUSEまたはLASER）をテキストエンコーダーの初期化に使用する。
• 類似するテキスト・画像ペアを近づけ、類似しないテキスト同士を遠ざけることでクラスタのcompactnessを向上させる、新規のM3L損失関数を導入する。
• 効率性と転送可能性を維持するため、画像埋め込みにフリーズされたResNet-152バックボーンを採用する。
• 共有重みを持つデュアルエンコーダー構造を採用し、言語に依存しない表現学習を可能にする。
• 新しく収集した1,000件の多言語テストセット（XTD10）を用いて性能を評価し、クラウドソーシングプラットフォームからの人間によるキャプションを活用する。

実験結果

リサーチクエスチョン

• RQ1 英語の単言語データのみで学習したモデルが、多様な言語にわたってゼロショットクロスリンガル画像検索に一般化できるか？
• RQ2 M3L損失関数がテキスト埋め込みクラスタの分離とクロスリンガルアライメントをどれほど向上させるか？
• RQ3 クロスリンガル文エンコーダーの選択（mUSE対LASER）がゼロショット検索性能に与える影響は？
• RQ4 非英語と英語のテキスト埋め込み間の意味的アライメントは、どの程度保持されているか？
• RQ5 多言語微調整と比較して、ゼロショット性能は再現性と一般化の観点でどの程度優れているか？

主な発見

• 英語のスプリットではRecall@1が0.591、ドイツ語では0.522に達し、英語学習データのみで強力なゼロショット一般化を実現した。
• mUSEを用いたM3L損失が他の組み合わせを上回り、全言語において最高のRecall@1を達成した。特にスラブ語族でない言語において顕著な向上が見られた。
• mUSEベースのモデルは、LASERと比較して非英語の埋め込みが英語の対応物の周囲により緊密にクラスタリングされていることが判明し、これがより優れたゼロショット性能の背景にある。
• ベースラインのPortazら（2019）が単語レベルのクロスリンガル埋め込みを用いても、本モデルはMulti30Kデータセットで上回った。
• 英語データのみで学習した場合、多言語学習に比べて若干性能が低下するが、その低下は最小限であり、未学習の言語に対しても良好な一般化が得られた。
• 定性的な結果から、トップランクの画像が完璧でない場合でも、モデルはキャプションに含まれるすべての重要なオブジェクトを捉えていることが示され、意味的アライメントの堅牢性が裏付けられた。