[論文レビュー] Towards Robust Visual Question Answering: Making the Most of Biased Samples via Contrastive Learning

Qingyi Si, Yuanxin Liu+6 more|arXiv (Cornell University)|Oct 10, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本論文では、バイアスのあるトレーニングサンプルを除外するのではなく、それらを活用することで視覚質問応答（VQA）のロバスト性を向上させる対照的学習手法MMBSを提案する。バイアスを除去したポジティブサンプルを構築し、バイアスあり／バイアスなしデータを区別することで、MMBSはVQA-CP v2のようなOODデータに対して一般化性能を向上させつつ、VQA v2のようなIDデータの性能を維持し、一般的なID-OOD精度のトレードオフを解消する。

ABSTRACT

Models for Visual Question Answering (VQA) often rely on the spurious correlations, i.e., the language priors, that appear in the biased samples of training set, which make them brittle against the out-of-distribution (OOD) test data. Recent methods have achieved promising progress in overcoming this problem by reducing the impact of biased samples on model training. However, these models reveal a trade-off that the improvements on OOD data severely sacrifice the performance on the in-distribution (ID) data (which is dominated by the biased samples). Therefore, we propose a novel contrastive learning approach, MMBS, for building robust VQA models by Making the Most of Biased Samples. Specifically, we construct positive samples for contrastive learning by eliminating the information related to spurious correlation from the original training samples and explore several strategies to use the constructed positive samples for training. Instead of undermining the importance of biased samples in model training, our approach precisely exploits the biased samples for unbiased information that contributes to reasoning. The proposed method is compatible with various VQA backbones. We validate our contributions by achieving competitive performance on the OOD dataset VQA-CP v2 while preserving robust performance on the ID dataset VQA v2.

研究の動機と目的

• 既存のデバイアス化手法が引き起こすVQAモデルにおけるID-OOD性能のトレードオフを解消すること。
• VQAデータセットにおける言語プライアの過剰な依存が、分布外（OOD）テストセットへの一般化性能を損なう問題を克服すること。
• バイアス付きサンプルの有用性を保持しつつ、モデルの一般化性能に及ぼす悪影響を軽減する手法を開発すること。
• VQAモデルが高精度のID性能を維持しつつ、VQA-CP v2のような言語バイアスに敏感なOODベンチマークで優れた性能を発揮できるようにすること。
• さまざまなVQAアーキテクチャやデバイアス化戦略と互換性がある汎用的でバックボーンに依存しないフレームワークを提供すること。

提案手法

• 元のトレーニングサンプルから言語プライア関連の情報を除去することで、2種類のポジティブサンプルを構築し、タスクに必要な視覚的および言語的特徴を保持する。
• 構築したポジティブサンプルを効果的に対照的学習に活用するための4つの異なるトレーニング戦略を設計する。
• 自動的にサンプルをバイアスあり／バイアスなしに分類する新しいアルゴリズムを導入し、対照的学習プロセスで差別化された処理を可能にする。
• 元のサンプルとそのバイアス除去済みポジティブサンプルとの間の距離を、クロスモodal埋め込み空間で最小化する補助的対照的目的関数を定式化する。
• トレーニング中に対照的目的関数を適用することで、モデルがスプライアスな相関に依存しないより一般化され、ロバストな表現を学習するように促進する。
• 対照的モジュールをプラグインコンponentとして統合することで、さまざまなVQAバックボーンおよび既存のデバイアス化手法と互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 IDデータの性能を低下させることなく、OODデータにおけるVQAのロバスト性を向上させることは可能か？
• RQ2 抑制するのではなく、バイアス付きトレーニングサンプルを有効に活用することで、言語プライアを低減させることは可能か？
• RQ3 バイアスあり／バイアスなしサンプルを区別できる対照的学習フレームワークをどのように設計すれば、一般化性能が向上するか？
• RQ4 提案手法は、標準的なVQAベンチマークで強い性能を維持しつつ、VQA-CP v2のようなバイアス感受性の高いOODベンチマークでも優れた性能を発揮するか？
• RQ5 バイアス除去済みポジティブサンプルに基づく対照的学習戦略は、関連する視覚的および言語的キューに適切な注目を向けるようにするか？

主な発見

• 提案されたMMBS手法は、VQA-CP v2というOODベンチマークで競争力のある性能を達成するとともに、VQA v2データセットにおける高い精度を維持しており、ID-OODのトレードオフを解消した。
• LMH や RUBi などの既存のデバイアス化ベースラインと比較して、VQA-CP v2 で優れた性能を発揮し、テストセットの回答分布との整合性が向上した。
• 注目可視化の結果、MMBSは「色」などのバイアスのある質問カテゴリ用語から、「サンダル」などのより情報量の多い主題語へ注目をシフトさせ、言語プライアへの依存を低減していることが示された。
• LMHとは異なり、MMBSはVQA v2の一般的なバイアス付きサンプルに対しても強い性能を維持しており、バイアス付きデータからの弱い監督が原因で性能が低下しない。
• 補助的対照的目的関数により、元のサンプルとポジティブサンプル間の埋め込み距離が著しく狭められ、ロバストな表現学習が促進された。
• 複数のVQAバックボーンおよびデバイアス化技術と互換性があり、広範な適用可能性と一般化の可能性を示した。