[論文レビュー] COBRA: Contrastive Bi-Modal Representation Algorithm

Vishaal Udandarao, Abhishek Maiti+4 more|arXiv (Cornell University)|May 7, 2020

Multimodal Machine Learning Applications参考文献 53被引用数 4

ひとこと要約

COBRAは、対照的予測符号化（CPC）とノイズ対比推定（NCE）の原則を用いて、視覚と言語のエンコーダーを同時に学習する対照的バイモーダル表現学習フレームワークを提案する。この手法により、クラス内およびクラス間の関係を保持し、モダリティ間のギャップを低減することで、4つの異なる下流タスクにおける7つのクロスモーダルベンチマークデータセットで最先端の性能を達成し、堅牢でタスクに依存しない統合埋め込み空間を示している。

ABSTRACT

There are a wide range of applications that involve multi-modal data, such as cross-modal retrieval, visual question-answering, and image captioning. Such applications are primarily dependent on aligned distributions of the different constituent modalities. Existing approaches generate latent embeddings for each modality in a joint fashion by representing them in a common manifold. However these joint embedding spaces fail to sufficiently reduce the modality gap, which affects the performance in downstream tasks. We hypothesize that these embeddings retain the intra-class relationships but are unable to preserve the inter-class dynamics. In this paper, we present a novel framework COBRA that aims to train two modalities (image and text) in a joint fashion inspired by the Contrastive Predictive Coding (CPC) and Noise Contrastive Estimation (NCE) paradigms which preserve both inter and intra-class relationships. We empirically show that this framework reduces the modality gap significantly and generates a robust and task agnostic joint-embedding space. We outperform existing work on four diverse downstream tasks spanning across seven benchmark cross-modal datasets.

研究の動機と目的

• マルチモーダル表現学習における持続的なモダリティギャップがクロスモーダルタスクの性能を制限する問題に対処すること。
• 画像とテキストモダリティ間のクラス内およびクラス間関係を保持することで、統合埋め込み空間を改善すること。
• 視覚質問応答や画像キャプションなどの多様な下流アプリケーションに広く一般化できるタスクに依存しないフレームワークを構築すること。
• 教師あり信号に依存するのを減らし、自己教師付き対照的学習を活用して統合表現学習を行うこと。

提案手法

• COBRAは、対照的予測符号化（CPC）にインspiredされた対照的学習目的を採用しており、同じ画像・テキストサンプルの増幅ビューからポジティブペアを形成する。
• 訓練中にポジティブペアとネガティブサンプルを区別するためにノイズ対比推定（NCE）を用い、モデルが判別可能な表現を学習するよう促進する。
• フレームワークは、事前学習中にペairedアノテーションを必要とせず、共通の潜在空間で画像およびテキストエンコーダーを同時に最適化することで、モダリティ間の整合性を確保する。
• 異なるサンプルペア間の識別を強化するために、ネガティブマイニング戦略を用いたインスタンス単位の対照的損失を適用する。
• 対照的学習のためのポジティブビューを生成するために、データオーグメンテーション（画像のランダムクロッピング、テキストのマスキングなど）を用いる。
• 最終的な統合埋め込み空間は、バックプロパゲーションを用いてエンドツーエンドで最適化され、下流タスクでのファインチューニングが不要である。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き対照的学習フレームワークは、視覚と言語表現間のモダリティギャップを効果的に低減できるか？
• RQ2 クラス内およびクラス間関係の両方を保持することは、下流のクロスモーダルタスクにおける一般化性能の向上に寄与するか？
• RQ3 タスクに依存しない表現学習手法は、多様なベンチマークで既存の教師ありおよび弱教師ありベースラインを上回ることができるか？
• RQ4 CPCとNCEの統合は、標準的な対照的または自己符号化手法と比較して、表現品質をどのように向上させるか？

主な発見

• COBRAは、クロスモーダルリtrieval、視覚質問応答、画像キャプションを含む4つの下流タスクをカバーする7つのベンチマークデータセットで最先端の性能を達成した。
• 評価されたすべてのデータセットで既存手法を上回り、平均平均精度（mAP）および正答率の指標で顕著な向上を示した。
• アブレーションスタディにより、CPCおよびNCEの両成分が不可欠であることが確認され、いずれかを削除すると性能が顕著に低下した。
• COBRAは強力なゼロショット一般化性能を示し、下流タスクでのファインチューニングなしで競争力ある結果を達成した。
• 画像とテキスト表現間の整合性が向上しており、クラス間の混同が低く、クラス内コンパクト性が高まっていることが実証された。
• フレームワークは多様なデータ分布およびモダリティにわたり頑健であり、タスクに依存しない性質とスケーラビリティを確認した。