[論文レビュー] Visual Grounding Methods for VQA are Working for the Wrong Reasons!

Robik Shrestha, Kushal Kafle+1 more|arXiv (Cornell University)|Apr 12, 2020

Multimodal Machine Learning Applications参考文献 23被引用数 5

ひとこと要約

本論文は、最近のVQAの視覚的マッピング手法が性能向上を達成しているのは、視覚的整合性の向上のおかげではなく、言語的バイアスへの依存を減らす正則化のおかげであることを示している。著者らは、訓練中に正解ラベルをゼロにすることで、アノテーションを一切不要とするシンプルな正則化法を提案し、VQA-CPv2で準SOTAの48.9%の精度を達成した。これは、性能向上が誤った先行確率の忘却によるものであり、視覚的マッピングの向上によるものではないことを裏付けている。

ABSTRACT

Existing Visual Question Answering (VQA) methods tend to exploit dataset biases and spurious statistical correlations, instead of producing right answers for the right reasons. To address this issue, recent bias mitigation methods for VQA propose to incorporate visual cues (e.g., human attention maps) to better ground the VQA models, showcasing impressive gains. However, we show that the performance improvements are not a result of improved visual grounding, but a regularization effect which prevents over-fitting to linguistic priors. For instance, we find that it is not actually necessary to provide proper, human-based cues; random, insensible cues also result in similar improvements. Based on this observation, we propose a simpler regularization scheme that does not require any external annotations and yet achieves near state-of-the-art performance on VQA-CPv2.

研究の動機と目的

• VQAにおける視覚的マッピング手法が真に視覚的整合性を向上させているのか、それとも正則化効果によって言語的バイアスへの依存を減らしているのかを調査すること。
• 人間によるアノテーション付き注目マップやサリエンシーマップが、バイアスがかかるVQAベンチマークでの性能向上に不可欠であるという仮定を疑うこと。
• VQA-CPv2でSOTA結果を達成する、最小限のアノテーションなしの正則化スキームを提案すること。
• 真の視覚的マッピングと正則化に起因する性能向上を区別できるように、評価プロトコルの改善を提言すること。
• モデルの挙動を検証できるよう、大規模かつ完全にアノテーションされたマッピングデータセット、もしくは明示的なマッピング評価タスクの導入を求める。

提案手法

• 訓練中にすべての答えに対してスコアをゼロにすることを強制するシンプルな正則化損失を提案する。
• 合計損失を、標準のBCE損失と正則化項の組み合わせとして定義する：$ L := BCE(P(\mathcal{A}), \mathcal{A}_{gt}) + \lambda BCE(P(\mathcal{A}), \mathbf{0}) $、ここで $ \lambda = 1 $。
• VQA-CPv2データセットの1%のサブセットを用いて訓練し、固定済み、ランダムに再サンプリングされた、およびフルデータセットのバージョンを含め、耐久性をテストする。
• 関連する、関係のない、およびランダムな視覚的ヒントを用いて訓練したモデルの性能を比較し、真のマッピングとは別に正則化効果を分離する。
• CPIG（Correct Prediction in Grounding）などの指標を用いて、予測が関連する視覚領域と一致しているかどうかを評価する。
• 訓練精度の低下を、先行確率の忘却の代理指標として用い、分布シフトされたデータにおけるテスト精度の向上と関連付ける。

実験結果

リサーチクエスチョン

• RQ1 VQAにおける視覚的マッピング手法は真に視覚的整合性を向上させているのか、それとも主に正則化によって言語的先行確率への依存を減らしているのか？
• RQ2 外部の視覚的ヒントや注目マップなしで、VQA-CPv2での性能向上を達成できるか？
• RQ3 バイアスがかかるVQAベンチマークでの一般化性能向上に、人間による注目マップやサリエンシーマップの使用は必須なのか？
• RQ4 すべての予測に同じペナルティを与えるシンプルな正則化スキームが、複雑なマッピングベースの手法を上回るのか？
• RQ5 訓練精度を向上させずにVQA-CPv2でSOTA性能を達成できるか？ これは、モデルが真にマッピングされていない可能性を示唆する。

主な発見

• 視覚的マッピング手法による性能向上は、視覚的整合性の向上によるものではなく、言語的先行確率への過剰適合を減らす正則化によるものである。
• 関連のないまたはランダムな視覚領域に注目するように訓練したモデルも、人間によるアノテーション付きのヒントを使用したモデルと同等の精度向上を達成した。
• 関連、無関係、ランダムなヒントを使用して訓練したモデル間での予測の差は統計的に有意ではなく、意味のあるマッピングが行われていないことを示している。
• 提案されたゼロ正則化法は、VQA-CPv2で48.9%の精度を達成し、視覚的ヒントやアノテーションなしでSOTA性能を達成した。
• 全テスト手法で訓練精度が顕著に低下しており、これはモデルが真にマッピングされていないことを示している。真のマッピングであれば、訓練精度に悪影響を及ぼさないはずである。
• CPIG指標では、HINTとSCRの両方で、正解予測のうち29.76%および19.78%しか関連する視覚領域と一致していなかった。これは、人間によるヒントがある場合でも、マッピングの質が低いことを示している。