[論文レビュー] Decoupling the Role of Data, Attention, and Losses in Multimodal Transformers

Lisa Anne Hendricks, John Mellor+3 more|arXiv (Cornell University)|Jan 31, 2021

Multimodal Machine Learning Applications参考文献 43被引用数 12

ひとこと要約

本稿では、ゼロショット画像検索を目的としたマルチモーダルトランスフォーマーにおける事前学習データ、アテンションメカニズム、損失関数の役割を調査する。主な発見として、データの質—特に言語の整合性と画像・テキストの整合性—がサイズよりも重要であり、マルチモーダルアテンションが性能向上に不可欠であり、対照的損失はこの設定ではほとんど利益をもたらさない。単純な分類損失がしばしば十分であることが判明した。

ABSTRACT

Recently multimodal transformer models have gained popularity because their performance on language and vision tasks suggest they learn rich visual-linguistic representations. Focusing on zero-shot image retrieval tasks, we study three important factors which can impact the quality of learned representations: pretraining data, the attention mechanism, and loss functions. By pretraining models on six datasets, we observe that dataset noise and language similarity to our downstream task are important indicators of model performance. Through architectural analysis, we learn that models with a multimodal attention mechanism can outperform deeper models with modality specific attention mechanisms. Finally, we show that successful contrastive losses used in the self-supervised learning literature do not yield similar performance gains when used in multimodal transformers

研究の動機と目的

• 事前学習データ、アテンションメカニズム、損失関数がマルチモーダルトランスフォーマーにおける表現品質に与える影響を理解すること。
• データノイズやダウンストリームタスクとの言語類似度がモデル性能を予測できるかを評価すること。
• マルチモーダルアテンションがモダリティ固有のアテンションメカニズムよりも効果的かどうかを特定すること。
• 対照的損失が分類損失よりもマルチモーダルトランスフォーマーの性能向上に寄与するかを評価すること。
• 画像のみまたは言語のみの事前学習がマルチモーダルモデルの性能に有意義に寄与するかを調査すること。

提案手法

• サイズやノイズレベルが異なる多様な画像・テキストデータセットを用いて、6つのマルチモーダルトランスフォーマーを事前学習した。
• マルチモーダル（モダリティ間のクロスアテンション）、共通アテンション（モダリティ固有のアテンション）、およびクロスアテンションなしの異なるアテンションメカニズムを比較した。
• 対照的マッチング損失と、ペアごとに1つのネガティブ例を用いた標準的な分類損失の両方を用いてモデルを訓練した。
• 学習済み表現の一般化能力を測るため、未知のデータセット上でゼロショット画像検索の性能を評価した。
• アテンションアーキテクチャと損失関数の影響を分離するために、制御されたアブレーションスタディを実施した。
• プロービングとアーキテクチャ解析を通じて、モデルの挙動を分析し、アテンションヘッドの分布と特徴量の整合性に焦点を当てた。

実験結果

リサーチクエスチョン

• RQ1 データセットのサイズとノイズレベルは、マルチモーダルトランスフォーマーにおけるゼロショット性能にどのように影響するか？
• RQ2 表現品質の観点から、マルチモーダルアテンションはモダリティ固有のアテンションメカニズムを上回るか？
• RQ3 対照的損失は、分類損失よりもマルチモーダル表現学習の向上に効果的か？
• RQ4 画像のみまたは言語のみの事前学習コンponentは、最終的な性能にどの程度寄与するか？
• RQ5 マルチモーダルアテンションを備えた小さなモデルは、より深く、異なるアテンションタイプを備えた大きなモデルと同等またはそれを上回る性能を達成できるか？

主な発見

• データノイズとダウンストリームタスクとの言語類似度は、データセットサイズよりもモデル性能の予測因子として強い。
• マルチモーダルアテンションを備えたモデルは、パラメータ数や深さが多いために優れた性能を示すモダリティ固有アテンションを備えたモデルでさえも上回る。
• 対照的損失はマルチモーダルトランスフォーマーにおいては最小限の性能向上をもたらすが、マルチモーダルアテンションを備えないモデルでは顕著な向上が見られる。
• ペアごとに1つのネガティブ例を用いた単純な分類損失が、競争力のある結果を達成でき、ハードネガティブマイニングや大規模な対照的目的関数の必要性を排除できる。
• 画像のみの事前学習とマスキング領域モデリング損失は、性能向上にほとんど寄与しない。これは、現在の損失定式化が視覚的信号を十分に活用していない可能性を示唆している。
• 言語のみの事前学習は性能向上に顕著な寄与を示さない。これは、強力な表現を得るには共同マルチモーダル事前学習が十分であることを示している。