[論文レビュー] Large-scale Bilingual Language-Image Contrastive Learning

Byungsoo Ko, Geonmo Gu|arXiv (Cornell University)|Mar 28, 2022

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本稿では、機械翻訳を用いず、11億の韓国語および英語の画像・テキストペアを用いて訓練された大規模な二か国語マルチモーダルモデルKELIPを提案する。MAE事前学習とマルチクロップ増強を用いることで、両言語で優れたゼロショット性能を達成し、言語間の意味的整合性を学習し、視覚的意味論における文化的差異を捉え、マルチモーダル特徴類似性を可能にする。

ABSTRACT

This paper is a technical report to share our experience and findings building a Korean and English bilingual multimodal model. While many of the multimodal datasets focus on English and multilingual multimodal research uses machine-translated texts, employing such machine-translated texts is limited to describing unique expressions, cultural information, and proper noun in languages other than English. In this work, we collect 1.1 billion image-text pairs (708 million Korean and 476 million English) and train a bilingual multimodal model named KELIP. We introduce simple yet effective training schemes, including MAE pre-training and multi-crop augmentation. Extensive experiments demonstrate that a model trained with such training schemes shows competitive performance in both languages. Moreover, we discuss multimodal-related research questions: 1) strong augmentation-based methods can distract the model from learning proper multimodal relations; 2) training multimodal model without cross-lingual relation can learn the relation via visual semantics; 3) our bilingual KELIP can capture cultural differences of visual semantics for the same meaning of words; 4) a large-scale multimodal model can be used for multimodal feature analogy. We hope that this work will provide helpful experience and findings for future research. We provide an open-source pre-trained KELIP.

研究の動機と目的

• 機械翻訳テキストに起因するバイアスを避けることにより、韓国語および英語の高精度な二か国語マルチモーダルモデルを開発すること。
• 明示的な言語間事前学習を用いずに、共有される視覚的表現に依存して言語間の意味的整合性が自己学習的に出現するかどうかを調査すること。
• 二か国語マルチモーダルモデルが、異なる言語における同じ意味的概念に対して文化的に特徴的な視覚的表現をどのように捉えているかを明らかにすること。
• 大規模なマルチモーダルモデルが、マルチモーダル特徴類似性タスク（例：画像とテキスト特徴の組み合わせによる検索）にどれほど有効に機能するかを評価すること。
• 大規模かつ多言語対応のビジョン・ランゲージモデルを構築するための実用的知見と訓練手法を共有すること。

提案手法

• 機械翻訳ではなく、母国語のテキストを用いて、合計11億の画像・テキストペア（韓国語7億8千万、英語4億7600万）を収集する。
• 視覚的表現学習の向上を目的に、マスクドオートエンコーダー（MAE）を事前学習に採用する。
• 耐性および一般化性能の向上を目的に、マルチクロップデータ増強を適用する。
• 画像とテキスト埋め込みを共有の埋め込み空間に整列させるために、対照的学習を用いる。
• 一致する画像・テキストペア間の距離を最小化する目的関数を用いて、別個の視覚的エンコーダーと言語エンコーダーを訓練する。
• 文化的な視覚的バイアスを分析するために、KELIPを活用した拡散モデルを用いたテキストから画像生成を実施する。

実験結果

リサーチクエスチョン

• RQ1 色のジャイタリングなどの強力な視覚的増強技術が、モデルの正しい視覚的・言語的関係の学習を妨げてしまう可能性はあるか？
• RQ2 明示的な言語間事前学習を一切行わないモデルでも、共有される視覚的意味論に依存して、言語間の意味的関係を学習できるか？
• RQ3 KELIPのような二か国語モデルは、同じ意味的概念について、異なる言語で文化的に特徴的な視覚的表現を捉えることができるか？
• RQ4 大規模なマルチモーダルモデルは、画像とテキスト特徴を組み合わせた検索のようなマルチモーダル特徴類似性タスクを実行できるか？

主な発見

• 色のジャイタリングのような強力な視覚的増強技術は、モデルが正確な視覚的・言語的関係を学習する能力を妨げることがある。
• 明示的な言語間目的関数を用いずに訓練されたモデルでも、共有される視覚的表現に依存することで、英語と韓国語の意味的に同等の文の間で高いコサイン類似度を示すなど、意味的な言語間整合性が学習されていることが示された。
• KELIPは文化的に特徴的な視覚的意味論を捉えている—例えば、西洋の朝食は卵とパンを特徴とし、韓国ではご飯とスープが強調される—視覚的生成における文化的な認識を示している。
• モデルはマルチモーダル特徴類似性を効果的に実行した：重み付き統合による画像とテキスト特徴の融合により、統合された意味に基づく正確な画像検索が可能になった。
• KELIPは、下流タスクにおいて韓国語および英語の両方で競争力あるゼロショット性能を達成しており、二か国語への一般化能力が裏付けられた。
• 同じ意味的プロンプト（例：「幽霊」や「伝統的な結婚式」）から、言語に特有の視覚的規範に応じた文化的に異なる画像を生成できるという点で、モデルが言語に特有の視覚的常識に敏感であることが確認された。