[論文レビュー] Causal Attention for Vision-Language Tasks

Xu Yang, Hanwang Zhang+2 more|arXiv (Cornell University)|Mar 5, 2021

Multimodal Machine Learning Applications参考文献 76被引用数 5

ひとこと要約

本稿では、観測されない交絡要因に対処するためのフロントドア調整を活用することで、視覚言語モデルにおける誤った相関関係を軽減する、新しいアテンションメカニズムである因果的アテンション（CATT）を提案する。In-Sample AttentionとCross-Sample Attentionを組み合わせることで、CATTは視覚言語タスク全体におけるモデルの汎化性能を向上させ、LXMERTおよびトランスフォーマー基盤モデルにおいて、顕著な向上を達成し、最先端の性能を実現する。

ABSTRACT

We present a novel attention mechanism: Causal Attention (CATT), to remove the ever-elusive confounding effect in existing attention-based vision-language models. This effect causes harmful bias that misleads the attention module to focus on the spurious correlations in training data, damaging the model generalization. As the confounder is unobserved in general, we use the front-door adjustment to realize the causal intervention, which does not require any knowledge on the confounder. Specifically, CATT is implemented as a combination of 1) In-Sample Attention (IS-ATT) and 2) Cross-Sample Attention (CS-ATT), where the latter forcibly brings other samples into every IS-ATT, mimicking the causal intervention. CATT abides by the Q-K-V convention and hence can replace any attention module such as top-down attention and self-attention in Transformers. CATT improves various popular attention-based vision-language models by considerable margins. In particular, we show that CATT has great potential in large-scale pre-training, e.g., it can promote the lighter LXMERT~\cite{tan2019lxmert}, which uses fewer data and less computational power, comparable to the heavier UNITER~\cite{chen2020uniter}. Code is published in \url{https://github.com/yangxuntu/catt}.

研究の動機と目的

• アテンションベースの視覚言語モデルにおいて、学習データから誤った相関関係を学習してしまうという、長年の交絡バイアスの問題に対処する。
• 観測された交絡要因や強い仮定を必要とする従来の脱交絡手法の限界を克服する。
• 既存のトランスフォーマーアーキテクチャと互換性がある、即挿入可能なアテンションメカニズムを開発し、モデルのロバスト性と汎化性能を向上させる。
• 交絡要因を観測しない状況でも、フロントドア調整の原則を用いて効果的な因果的介入を可能にする。
• 複数の視覚言語ベンチマーク、特に画像キャプションとVQAにおいて、CATTの有効性を実証する。

提案手法

• 標準のアテンションモジュールの代替として、In-Sample Attention（IS-ATT）とCross-Sample Attention（CS-ATT）を組み合わせた因果的アテンション（CATT）を提案し、因果的介入をシミュレートする。
• IS-ATTを同じサンプルからの特徴量に対して標準アテンションとして実装する一方、CS-ATTは他のサンプルからのグローバルな特徴量の辞書を介してアテンションを導入し、介入分布を模倣する。
• フロントドア調整フレームワークを用い、交絡要因を観測しない状況でも、視覚的入力が言語的出力に与える因果的効果を推定する。この際、観測可能なバックドア経路に依存する。
• 標準のQ-K-Vアテンションメカニズムを維持することで、CATTがトランスフォーマーやトップダウンアテンションモジュールなどの既存モデルに直接挿入可能であることを保証する。
• K-meansの初期化と微調整を用いて、グローバルな視覚的および語彙的辞書をエンドツーエンドで学習させ、モデルが代表的な因果的特徴を学習できるようにする。
• 各CATTブロックにおいて、IS-ATTとCS-ATTの間でパラメータを共有することで、特徴空間の一貫性を維持し、パラメータのオーバーヘッドを低減する。

Figure 1: Top: an example of image captioner with a self-attention and a top-down attention modules. Bottom: the corresponding causal graph. The reason why the prediction is “riding” but not “driving” is explained in Figure 3 .

実験結果

リサーチクエスチョン

• RQ1 交絡要因の知識がなくても、因果的アテンションメカニズムが視覚言語モデルにおける誤った相関関係を軽減できるか？
• RQ2 CATTは、ジプの法則や社会的慣習といったデータセットバイアスが存在する状況でも、モデルの汎化性能をどのように向上させるか？
• RQ3 CATTは、LXMERTのような低データおよび大規模事前学習設定において、どの程度性能を向上させられるか？
• RQ4 CATTは、画像キャプションとVQAベンチマークの両方で、標準アテンションメカニズムを上回る性能を発揮するか？
• RQ5 CATTは、アーキテクチャの大幅な見直しを伴わずに、既存のトランスフォーマー基盤アーキテクチャにスムーズに統合可能か？

主な発見

• CATTは画像キャプションとVQAの両タスクで顕著な性能向上を達成し、Transformer + CATTは38.8 BLEU-4、70.6 CIDEr、128.8のテスト損失を達成し、ベースのTransformerを上回る性能を示した。
• LXMERTモデルでは、CATTにより、より軽量なモデルが重いUNITERモデルの性能に並ぶことを実現し、高い効率性と汎化性能の向上を示した。
• 定性的な結果から、CATTは『キッチン』のような誤った相関関係（例：『woman』と『kitchen』）に依存せずに、画像キャプションにおける性別の正しく予測できることが示された。
• CATTは、大規模事前学習によるアテンション品質の低下に及ぼす悪影響を緩和し、標準モデルで観察される劣化トレンドを逆転させた。
• 正しい文脈が『driving carriage』である場合、CATTは『person』と『horse』のような誤った対のオブジェクトペアへのアテンションを効果的に低減した。
• CATTは、VQAや画像キャプションを含む複数のデータセットとタスクにおいて、一貫した向上を示し、BLEU、CIDEr、正確一致の指標で安定した改善を達成した。

Figure 2: Before pre-training ( \eg , LXMERT [ 61 ] ), attentions are correct (blue). After pre-training, attentions are wrong (red). This is because the co-occurrences of some concepts appear much more often than others, \eg , “Sport+Man” appears 213 times more than “Sport+Screen” in the pre-traini