[論文レビュー] MURAL: Multimodal, Multitask Retrieval Across Languages

Aashi Jain, Mandy Guo+6 more|arXiv (Cornell University)|Sep 10, 2021

Multimodal Machine Learning Applications参考文献 43被引用数 13

ひとこと要約

MURALは、18億枚の画像キャプションペアと60億の翻訳ペアを用いて、対照的学習を用いてマルチモodal（画像-テキスト）およびマルチリンガル（テキスト-テキスト）表現を同時に学ぶ二重エンコーダー・モデルを提案する。このモデルは、特にリソースが乏しい言語において、最先端のゼロショットおよび微調整済みのクロスマodal検索性能を達成し、Wikipedia Image-Textデータセットにおいて8種類の低リソース言語で平均してALIGNよりも平均8.1%の平均リCALL向上を達成する。

ABSTRACT

Both image-caption pairs and translation pairs provide the means to learn deep representations of and connections between languages. We use both types of pairs in MURAL (MUltimodal, MUltitask Representations Across Languages), a dual encoder that solves two tasks: 1) image-text matching and 2) translation pair matching. By incorporating billions of translation pairs, MURAL extends ALIGN (Jia et al. PMLR'21)--a state-of-the-art dual encoder learned from 1.8 billion noisy image-text pairs. When using the same encoders, MURAL's performance matches or exceeds ALIGN's cross-modal retrieval performance on well-resourced languages across several datasets. More importantly, it considerably improves performance on under-resourced languages, showing that text-text learning can overcome a paucity of image-caption examples for these languages. On the Wikipedia Image-Text dataset, for example, MURAL-base improves zero-shot mean recall by 8.1% on average for eight under-resourced languages and by 6.8% on average when fine-tuning. We additionally show that MURAL's text representations cluster not only with respect to genealogical connections but also based on areal linguistics, such as the Balkan Sprachbund.

研究の動機と目的

• リソースが乏しい言語のクロスマodal検索性能を向上させること。これらの言語は、画像-キャプションのトレーニングデータが限られている。
• 画像-キャプションデータが不足する状況で、大規模なマルチリンガル翻訳ペアからの学習が、マルチモダリティ表現学習を向上させるかを調査すること。
• 画像-テキストペアとテキスト-テキストペアの両方でマルチタスク対照的学習を用いて訓練された二重エンコーダー・モデルが、より複雑なクロスエンコーダーのベースラインを上回るかを評価すること。
• 得られたマルチリンガル表現が、系統的分類を超えて、例えばバルカン言語共同体（Balkan Sprachbund）のような地域的言語接触関係を反映しているかを分析すること。

提案手法

• 画像-テキストマッチングとテキスト-テキスト（翻訳ペア）マッチングの2つのタスクで、対照的学習を用いて二重エンコーダー・モデルを訓練する。
• Alt-Textデータセットから得た18億のノイズの多い画像-キャプションペアと、Common Crawlに基づくビテキストデータセットから得た60億の翻訳ペアを活用する。
• バッチ内ネガティブサンプリングと対照的損失を用いて、モダリティおよび言語間で画像とテキストの埋め込みを整列させる。
• ゼロショットおよびフェイントショット一般化を向上させるために、Wikipedia Image-Text（WIT）データセットでモデルを微調整する。
• 効率的な検索推論のため、近似最近傍（ANN）検索を適用する。
• 言語的関係性と地理的近接性に基づくクラスタリングパターンを分析するために、テキスト埋め込みを可視化する。

実験結果

リサーチクエスチョン

• RQ1 画像-キャプションデータが限られている状況で、大規模なマルチリンガル翻訳ペアからの学習が、リソースが乏しい言語のクロスマodal検索性能を向上させるか？
• RQ2 画像-テキストマッチングとテキスト-テキストマッチングの両方でマルチタスク学習を行うことで、単一タスクモデルと比較してゼロショットおよび微調整済みの検索性能が向上するか？
• RQ3 MURALで学習されたマルチリンガル表現が、系統的グループ化を超えて、例えばバルカン言語共同体のような言語接触関係を反映しているか？
• RQ4 シンプルな二重エンコーダー・アーキテクチャが、スケーラビリティを維持しながら、より複雑なクロスエンコーダー・モデルを上回る性能を発揮できるか？
• RQ5 事前学習データに高リソースのピボット言語が含まれることで、モデルの性能がどの程度向上するか？

主な発見

• Wikipedia Image-Text（WIT）データセットにおいて、MURALは8種類のリソースが乏しい言語について、平均してALIGNよりもゼロショット平均リCALLを8.1%向上させ、微調整後は6.8%向上した。
• XTDベンチマークにおいて、MURALはマルチリンガル画像-テキスト検索で、ALIGNよりも平均してrecall@10を4%向上させた。
• MURAL-largeは、Multi30kの4言語において、M3Pよりも平均で47.7%の平均リCALL向上を達成し、UC2よりも5.9%の向上を達成した。
• WITにおけるゼロショット検索では、MURAL-largeはリソースが豊富な言語で強力な翻訳-テストベースラインよりも13.2%、リソースが乏しい言語では9.6%の平均リCALL向上を達成した。
• MURAL-largeは、テキスト→テキストおよび画像→画像検索のCxCベンチマークで、これまでにない最高スコアを達成し、セマンティック画像類似度でも最良のモデルと同点となった。
• テキスト埋め込みの可視化結果から、言語が系統的関係性だけでなく、言語的接触関係（例：ハンガリー語とチェコ語の近接性）に基づいてクラスタリングされていることが示され、マルチモダリティ学習が接触に基づく言語的パターンを捉えていることが示唆された。