[論文レビュー] Vision-Language Pre-Training with Triple Contrastive Learning

Jinyu Yang, Jiali Duan+7 more|arXiv (Cornell University)|Feb 21, 2022

Multimodal Machine Learning Applications被引用数 14

ひとこと要約

本稿では、視覚言語事前学習フレームワークとして、三重対照学習（TCL）を提案する。TCLは、クロスモダリティの整合性（CMA）、イントラモダリティの対照学習（IMC）、局所相互情報最大化（LMI）を組み合わせることで表現学習を向上させる。モダリティ間および局所領域における自己教師あり学習を活用することで、TCLはMSCOCOおよびFlickr30Kベンチマークで、画像・テキスト検索および視覚的質問応答のタスクにおいて、最先端の性能を達成した。

ABSTRACT

Vision-language representation learning largely benefits from image-text alignment through contrastive losses (e.g., InfoNCE loss). The success of this alignment strategy is attributed to its capability in maximizing the mutual information (MI) between an image and its matched text. However, simply performing cross-modal alignment (CMA) ignores data potential within each modality, which may result in degraded representations. For instance, although CMA-based models are able to map image-text pairs close together in the embedding space, they fail to ensure that similar inputs from the same modality stay close by. This problem can get even worse when the pre-training data is noisy. In this paper, we propose triple contrastive learning (TCL) for vision-language pre-training by leveraging both cross-modal and intra-modal self-supervision. Besides CMA, TCL introduces an intra-modal contrastive objective to provide complementary benefits in representation learning. To take advantage of localized and structural information from image and text input, TCL further maximizes the average MI between local regions of image/text and their global summary. To the best of our knowledge, ours is the first work that takes into account local structure information for multi-modality representation learning. Experimental evaluations show that our approach is competitive and achieves the new state of the art on various common down-stream vision-language tasks such as image-text retrieval and visual question answering.

研究の動機と目的

• 既存の視覚言語事前学習手法がクロスモダリティの整合性にのみ焦点を当てており、イントラモダリティ構造や局所的特徴表現を無視するという限界に対処する。
• 同じ画像やテキストの類似したビューが埋め込み空間で近づくように保証するため、インフラモダリティ対照学習（IMC）を導入して表現品質を向上させる。
• グローバル表現と局所的画像パッチやテキストトークンとの間の相互情報を最大化することで、特徴の表現力を高める。これにより、構造的および局所的詳細を捉えることができる。
• Webで収集されたノイズの多いデータセットからの劣化を軽減するため、各モダリティ内および局所領域間で自己教師あり学習を強化する。
• クロスモダリティ、インフラモダリティ、および局所構造の監視を統合することで、下流タスク用のより良い共同マルチモーダル表現を達成する。

提案手法

• クロスモダリティ整合性（CMA）、インフラモダリティ対照学習（IMC）、局所相互情報最大化（LMI）の3つの対照的目的を組み合わせた三重対照学習（TCL）フレームワークを提案する。
• CMAにはInfoNCE損失を適用し、一致する画像・テキストペア間の相互情報を最大化することで、埋め込みを引き寄せる。
• IMCは、同じ画像（およびテキスト）に対して2つの拡張ビューを作成し、それらの相互情報を最大化することで、インフラモダリティの耐性を向上させる。
• LMIを導入し、グローバルな[CLS]表現と各局所パッチ（画像）またはトークン（テキスト）間の相互情報を最大化することで、空間的および構造的文脈を保持する。
• 視覚およびテキストトランスフォーマーの最終層のパッチ埋め込みを局所特徴として使用し、グローバル平均プーリングを適用して次元を削減しながらも空間的関係を維持する。
• CMA、IMC、LMI損失の組み合わせを用いて、モデルをエンドツーエンドで訓練し、ポジティブなキーデータの生成にモーメンタム更新機構を導入する。

実験結果

リサーチクエスチョン

• RQ1 インフラモダリティ対照学習は、クロスモダリティ整合性のみに依存する手法よりも、視覚言語表現の品質を向上させることができるか？
• RQ2 グローバル表現と局所的画像／テキスト特徴の間で局所的相互情報最大化を組み込むことで、下流タスクの性能が向上するか？
• RQ3 クロスモダリティ、インフラモダリティ、および局所構造の監視を統合することで、ノイズの多いWeb規模のデータセットにおける表現学習にどのような影響を与えるか？
• RQ4 データサイズおよび増強戦略が、提案されたTCLフレームワークの有効性に与える影響は何か？
• RQ5 局所特徴として最終層のパッチ埋め込みを使用することは、中間層の特徴よりも優れた結果をもたらすか？

主な発見

• TCLは、画像・テキスト検索タスクで新たな最先端性能を達成し、MSCOCOでは94.8% R@1、Flickr30Kでは82.8%を記録し、先行する最先端手法を上回った。
• アブレーションスタディの結果、強力な増幅を伴うIMCの追加により、ベースライン比でR@1が最大1.4%向上し、インフラモダリティ学習における有効性が裏付けられた。
• LMIの統合によりさらなる性能向上が得られ、MSCOCOでは94.9% R@1、Flickr30Kでは84.0% R@1を達成した。これにより、局所構造の認識が表現品質を向上させることを示した。
• 最終層のパッチ埋め込みをLMIに使用することで、中間層の特徴よりも同等または優れた結果が得られ、最終層の表現が局所相互情報最大化に適していることを示唆した。
• より大きなデータセット（14M vs. 4M）で事前学習を行うと、性能が顕著に向上し、R@1がベンチマーク全体で2.9–3.4%上昇した。これはTCLのスケーラビリティを示している。
• モーメンタム係数$ m = 0.5 $が最適な性能をもたらし、MoCoにおける一般的な値とは異なる。これはTCLのモーメンタム機構に独自のダイナミクスが存在することを示唆している。