[論文レビュー] Counterfactual Samples Synthesizing and Training for Robust Visual Question Answering

Long Chen, Yuhang Zheng+3 more|arXiv (Cornell University)|Oct 3, 2021

Multimodal Machine Learning Applications被引用数 10

ひとこと要約

本稿では、視覚的説明可能性と質問感受性を向上させることで、視覚質問応答（VQA）モデルの性能を改善する、モデルに依存しない対仮説的サンプル生成および訓練（CSST）フレームワークを提案する。CSSTは、重要な視覚的オブジェクトや質問語をマスクすることで対仮説的サンプルを生成し、交差エントロピー損失と対照的損失の両方を用いてモデルを訓練する。この手法により、VQA-CP v2 や GQA-OOD といった分布外ベンチマークで最先端の性能を達成した。

ABSTRACT

Today's VQA models still tend to capture superficial linguistic correlations in the training set and fail to generalize to the test set with different QA distributions. To reduce these language biases, recent VQA works introduce an auxiliary question-only model to regularize the training of targeted VQA model, and achieve dominating performance on diagnostic benchmarks for out-of-distribution testing. However, due to complex model design, these ensemble-based methods are unable to equip themselves with two indispensable characteristics of an ideal VQA model: 1) Visual-explainable: The model should rely on the right visual regions when making decisions. 2) Question-sensitive: The model should be sensitive to the linguistic variations in questions. To this end, we propose a novel model-agnostic Counterfactual Samples Synthesizing and Training (CSST) strategy. After training with CSST, VQA models are forced to focus on all critical objects and words, which significantly improves both visual-explainable and question-sensitive abilities. Specifically, CSST is composed of two parts: Counterfactual Samples Synthesizing (CSS) and Counterfactual Samples Training (CST). CSS generates counterfactual samples by carefully masking critical objects in images or words in questions and assigning pseudo ground-truth answers. CST not only trains the VQA models with both complementary samples to predict respective ground-truth answers, but also urges the VQA models to further distinguish the original samples and superficially similar counterfactual ones. To facilitate the CST training, we propose two variants of supervised contrastive loss for VQA, and design an effective positive and negative sample selection mechanism based on CSS. Extensive experiments have shown the effectiveness of CSST. Particularly, by building on top of model LMH+SAR, we achieve record-breaking performance on all OOD benchmarks.

研究の動機と目的

• 訓練データにおける表面的な言語的相関に依存するVQAモデルにおける言語バイアスという、長年の問題に対処すること。
• 視覚的説明可能性と質問感受性の行動を強制することでモデルの頑健性を向上させ、予測が正しい視覚的および言語的手がかりに基づいていることを保証すること。
• アーキテクチャの変更やアンサンブルベースの設計を必要としない、モデルに依存しない訓練戦略を開発すること。
• 質問-回答分布がシフトした分布外テストセットに対しても、効果的に一般化できるVQAモデルを実現すること。
• 元のサンプルと対仮説的サンプルを区別できるようにモデルを強制する、データ拡張および対照的学習パイプラインを設計すること。

提案手法

• 対仮説的サンプル生成（CSS）は、重要な視覚的オブジェクトや質問のキーワードをマスクすることで訓練サンプルを生成し、入力を変更した場合の擬似正例ラベルを割り当てる。
• 対仮説的サンプル訓練（CST）は、標準的な交差エントロピー損失（正例予測のため）と、元のサンプルと対仮説的サンプルを区別するための対照的損失の二重目的を持つ。
• CSSの出力をもとに、対照的学習の効果を高めるために、新しい正例・負例選択メカニズムを設計した。
• VQAに特化した2種類の教師付き対照的損失を提案し、元の入力と対仮説的入力の特徴の識別性を向上させた。
• アーキテクチャの変更なしに、既存のVQAモデルに後から適用可能であるため、モデルに依存せず広く適用可能である。
• Grad-CAMと品詞タグ付け（POS tagging）を用いて、対仮説的生成の際のマスク対象となる重要な視覚的オブジェクトおよび語を同定した。

実験結果

リサーチクエスチョン

• RQ1 対仮説的データ拡張により、正しい視覚領域に注目させるように強制することで、VQAモデルの視覚的説明可能性が向上するか？
• RQ2 対仮説的サンプルで訓練することで、特に言語的摂動下でもVQAモデルの質問感受性が向上するか？
• RQ3 モデルに依存しない訓練戦略は、アンサンブルベースの手法を上回る性能を、分布外VQAベンチマークで示せるか？
• RQ4 提案された対照的損失は、元のサンプルと表面的に似た対仮説的サンプルを効果的に区別できるか？
• RQ5 CSSTフレームワークによって最も改善され、最も改善されない質問の種類は何か。その理由は何か？

主な発見

• CSSTは、VQA-CP v2、VQA-CP v1、GQA-OOD を含む、評価されたすべての分布外ベンチマークで最先端の性能を達成した。
• VQA-CP v2 において、LMH-CSSTモデルは76.8%という新記録の正確度を達成し、以前のSOTAモデルを上回った。
• Confidence Improvement（CI）指標は、CSSTモデルが重要な語が削除された際に顕著に信頼度の低下を示しており、質問感受性が強いことを示している。
• アブレーションスタディの結果、CSSおよびCSTの両コンポーネントが不可欠であることが確認され、特に対照的学習によるCSTの貢献が性能向上に寄与していることが分かった。
• 失敗分析の結果、本手法は特に「Yes/No」および「Number」の質問で最も困難を示しており、データセットバイアスとヒューリスティックな予測のしやすさが原因であると推測された。
• 定性的分析により、CSSTがGrad-CAMの注目マップを重要な視覚的オブジェクトおよび語に一致させるよう改善したことが確認され、視覚的説明可能性の妥当性が裏付けられた。