[論文レビュー] Multi-modal Alignment using Representation Codebook

Jiali Duan, Li‐Qun Chen+5 more|arXiv (Cornell University)|Feb 28, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本論文は、画像とテキスト特徴をより安定したクラスターレベルの表現に統合するための、共有で学習可能なコードブックを用いた新しい手法、Codebook Learning with Distillation (CODIS) を提案する。クラスターレベルの割り当てを対比させ、勾配の動きを用いた自己蒸留を用いることで、トレーニングの安定性を高め、ゼロショット画像-テキスト検索で新たなSoTA性能を達成するとともに、下流の転移タスクでも競争力を持つ。

ABSTRACT

Aligning signals from different modalities is an important step in vision-language representation learning as it affects the performance of later stages such as cross-modality fusion. Since image and text typically reside in different regions of the feature space, directly aligning them at instance level is challenging especially when features are still evolving during training. In this paper, we propose to align at a higher and more stable level using cluster representation. Specifically, we treat image and text as two "views" of the same entity, and encode them into a joint vision-language coding space spanned by a dictionary of cluster centers (codebook). We contrast positive and negative samples via their cluster assignments while simultaneously optimizing the cluster centers. To further smooth out the learning process, we adopt a teacher-student distillation paradigm, where the momentum teacher of one view guides the student learning of the other. We evaluated our approach on common vision language benchmarks and obtain new SoTA on zero-shot cross modality retrieval while being competitive on various other transfer tasks.

研究の動機と目的

• トレーニング中に異なる特徴空間に位置するビジョンとランゲージ特徴を統合する課題に対処すること。
• 個々の特徴ではなく、より高いレベルの表現—クラスターレベルの割り当て—を用いて、クロスモodalな統合を改善すること。
• コードブック学習と特徴統合をガイドする新しい蒸留メカニズムを用いて、トレーニングを安定化すること。
• CLIP や ALIGN などの大規模データセットに依存せずに、ゼロショットクロスモーダル検索で最先端の性能を達成すること。
• コードブックベースの対照学習を用いて、単一モダリティからマルチモーダル表現学習への自己教師付き学習技術の橋渡しをすること。

提案手法

• ビジョン・ランゲージ特徴空間の統合を表す共有で学習可能なコードブック（クラスターセンタの辞書）を導入すること。
• 画像とテキスト特徴のクラスターレベルの割り当てを比較することで対照学習を実行し、コードブックと特徴エンコーダーを同時に最適化すること。
• 教師エンコーダー（移動平均で更新）が学生をガイドするモーメンタムベースの教師-生徒蒸留フレームワークを用いること。
• 最適輸送に基づく目的関数を用いてコードブックの更新を最適化し、モダリティ特徴とその割り当てられたコードワード間の距離を最小化すること。
• 特徴学習に加えて、コードブック学習の安定性を高めるために蒸留メカニズムを適用し、トレーニングの不安定性を低減すること。
• マスク言語モデル（MLM）、画像-テキストマッチング（ITM）、およびコードブックの監視付き対照損失（ITC）を組み合わせたハイブリッド目的関数を用いてモデルをトレーニングすること。

実験結果

リサーチクエスチョン

• RQ1 インスタンスレベルの対照学習と比較して、クラスターレベルの表現学習はビジョン・ランゲージ統合の安定性と性能を向上させるか？
• RQ2 モーメンタム蒸留メカニズムを統合することで、マルチモーダル環境下でのコードブック学習とクロスモーダル統合はどのように向上するか？
• RQ3 大規模データセットに依存せずに、コードブックベースのアプローチがゼロショット検索でどの程度SoTA性能を達成できるか？
• RQ4 モダリティ内およびクロスモーダルの対照信号の両方から学習することで、統合されたビジョン・ランゲージ表現の質は向上するか？
• RQ5 異なるコードブックサイズと損失重み付け方式は、ゼロショット設定における最終的な検索性能にどのように影響するか？

主な発見

• CODISは、MSCOCOのゼロショットベンチマークにおいて、テキスト検索で59.38% R@1、画像検索で44.71% R@1の新たなSoTAを達成し、ALBEF や CLIP などの先行手法を上回った。
• アブレーションスタディの結果、モダリティ内とクロスモーダルな統合を組み合わせることで、純粋なクロスモーダル統合に比べ、R@1がテキスト検索で+1.26%、画像検索で+0.42%向上した。
• 教師特徴を用いてコードブック損失を計算することで、学生特徴を用いた場合に比べ、MSCOCOにおけるテキスト検索のR@1が+0.38%向上した。
• Grad-CAMの可視化結果から、モデルが入力語に一致する意味的に関連する画像領域に注目していることが示され、優れた統合能力を示している。
• コードブックサイズが3,000のときが最良の性能を示し、500のコードブックでは性能が劣り、2.0倍のコードブックサイズでは3Kのものに比べてわずかな向上が見られた。
• CODISはMSCOCOおよびFlickr30Kの両データセットで一貫した向上を示し、コードブックを含まないベースラインと比較して、MSCOCOにおけるテキスト検索のR@1が+2.5%の絶対的向上を達成した。