[論文レビュー] Towards Zero-shot Cross-lingual Image Retrieval and Tagging

Pranav Aggarwal, Ritiz Tambi+1 more|arXiv (Cornell University)|Sep 15, 2021

Multimodal Machine Learning Applications参考文献 37被引用数 5

ひとこと要約

本論文は、並列学習データを必要とせず、単語言語の学習データとクロスリンガル文埋め込みを活用して、複数言語間の検索とタグ付けを可能にするゼロショットクロスリンガル画像検索およびタグ付けフレームワークを提案する。本研究では、テキスト埋め込みクラスタを強化するための新しいメトリック学習目的関数を導入し、7カ国語で構成される新規に作成された1,000件の多言語テストセット（XTD10）を用いて性能を評価した。その結果、ドイツ語やフランス語を含む複数言語にわたる強力なゼロショット一般化性能が示された。

ABSTRACT

There has been a recent spike in interest in multi-modal Language and Vision problems. On the language side, most of these models primarily focus on English since most multi-modal datasets are monolingual. We try to bridge this gap with a zero-shot approach for learning multi-modal representations using cross-lingual pre-training on the text side. We present a simple yet practical approach for building a cross-lingual image retrieval model which trains on a monolingual training dataset but can be used in a zero-shot cross-lingual fashion during inference. We also introduce a new objective function which tightens the text embedding clusters by pushing dissimilar texts away from each other. For evaluation, we introduce a new 1K multi-lingual MSCOCO2014 caption test dataset (XTD10) in 7 languages that we collected using a crowdsourcing platform. We use this as the test set for zero-shot model performance across languages. We also demonstrate how a cross-lingual model can be used for downstream tasks like multi-lingual image tagging in a zero shot manner. XTD10 dataset is made publicly available here: https://github.com/adobe-research/Cross-lingual-Test-Dataset-XTD10.

研究の動機と目的

• 単語言語の学習データと事前学習済みのクロスリンガル文埋め込みのみを用いて、ゼロショットクロスリンガル画像検索を可能にすること。
• クロスリンガル画像検索のための多言語評価ベンチマークの不足を解消するため、7カ国語で構成される新規の1,000件の多言語テストセット（XTD10）を構築すること。
• 異なるテキスト同士を分離するように学習する新しいメトリック学習目的関数を導入し、テキスト埋め込みのクラスタリングを改善すること。
• ゼロショット多言語画像タグ付けのための下流タスクへの適用可能性を示すこと。
• 画像タグ付けにおける単語レベルの翻訳の制限を克服し、言語をまたいで画像-テキストの文脈を捉えること。

提案手法

• 画像とテキストの埋め込みを複数言語で一致させるために、クロスリンガル文エンコーダー（例：mUSE）を用いて、単語言語のMSCOCO2014データ上でビジョン・ランゲージモデルをファインチューニングする。
• 一致する画像-テキストペアの間のクラスタ内距離を最小化し、非一致ペアの間のクラスタ間距離を最大化する新しいメトリック学習目的関数を導入する。
• mUSE（マルチリンガルユニバーサル文エンコーダー）を用いてクロスリンガルテキスト符号化を実施し、トレーニング中に見られなかった言語でもゼロショット推論を可能にする。
• クラウドソーシングを用いてXTD10データセットを構築し、MSCOCO2014から抽出した1,000枚の画像に10種類の非英語のキャプションを付与した。
• 同じモデルアーキテクチャを用いて、事前学習済みの英語画像タガーモデルとクロスリンガルアライメントを活用することで、ターゲット言語におけるゼロショット推論を実現し、多言語画像タグ付けを実施する。
• R@1（リCALL@1）とR@5を用いてXTD10上で性能を評価し、ベースラインモデルおよびGoogle翻訳を用いた単語レベル翻訳との比較を実施する。

実験結果

リサーチクエスチョン

• RQ1 単語言語の画像-テキストペアで学習したモデルが、複数の低リソース言語にわたってゼロショットクロスリンガル画像検索に一般化できるか？
• RQ2 提案されたメトリック学習目的関数は、検索に適したクロスリンガルテキスト埋め込みのクラスタリングをどの程度改善できるか？
• RQ3 同じクロスリンガル表現を用いて、ゼロショット多言語画像タグ付けに効果的に応用できるか。また、単語レベルの翻訳を上回る性能を示せるか？
• RQ4 ゼロショットモデルの性能は、異なる言語において多言語ファインチューニングベースラインと比べてどの程度優れているか？
• RQ5 モデルは、例え「spring」が季節か物体かというような多義語の意味の曖昧さをどの程度解消できるか？

主な発見

• 提案モデルはXTD10ベンチマークで強力なゼロショット性能を達成し、フランス語ではR@1が58.5%、ドイツ語では57.0%を記録。ベースラインモデルを上回った。
• クロスリンガルテキスト埋め込みのクラスタリングが向上し、mUSEベースの埋め込みはLASERよりもより緊密なクラスタを形成しており、より良いクロスリンガルアライメントが実現した。
• ゼロショット画像タグ付けにおいて、モデルは文脈に応じた翻訳（例：「spring」を季節か物体として）を正しく特定したが、Google翻訳は「spring」や「bank」、「turkey」のような曖昧語では失敗した。
• 低リソース言語に対しても良好な一般化性能を示し、ドイツ語やフランス語においても多言語学習時と比較してわずかな性能低下にとどまり、強力なゼロショット一般化性能が裏付けられた。
• 新しいメトリック学習目的関数により、クラス間の混同が顕著に減少した。これは、より緊密なテキスト埋め込みクラスタと、複数言語にわたる検索精度の向上によって裏付けられた。
• XTD10データセットは、ゼロショットクロスリンガル画像検索の標準化された評価を可能にし、今後の研究を支援するため、公開された。