[論文レビュー] Beyond Question-Based Biases: Assessing Multimodal Shortcut Learning in Visual Question Answering

Corentin Dancette, Rémi Cadène+2 more|arXiv (Cornell University)|Apr 7, 2021

Multimodal Machine Learning Applications参考文献 41被引用数 62

ひとこと要約

本論文は VQA-CE を紹介します。これは VQA データセットにおけるマルチモーダル・ショートカットを特定・検証する評価プロトコルであり、最先端モデルがこのようなショートカットに依存していること、そしてバイアス低減手法が再訓練なしにはほとんど効果を発揮しないことを明らかにします。

ABSTRACT

We introduce an evaluation methodology for visual question answering (VQA) to better diagnose cases of shortcut learning. These cases happen when a model exploits spurious statistical regularities to produce correct answers but does not actually deploy the desired behavior. There is a need to identify possible shortcuts in a dataset and assess their use before deploying a model in the real world. The research community in VQA has focused exclusively on question-based shortcuts, where a model might, for example, answer "What is the color of the sky" with "blue" by relying mostly on the question-conditional training prior and give little weight to visual evidence. We go a step further and consider multimodal shortcuts that involve both questions and images. We first identify potential shortcuts in the popular VQA v2 training set by mining trivial predictive rules such as co-occurrences of words and visual elements. We then introduce VQA-CounterExamples (VQA-CE), an evaluation protocol based on our subset of CounterExamples i.e. image-question-answer triplets where our rules lead to incorrect answers. We use this new evaluation in a large-scale study of existing approaches for VQA. We demonstrate that even state-of-the-art models perform poorly and that existing techniques to reduce biases are largely ineffective in this context. Our findings suggest that past work on question-based biases in VQA has only addressed one facet of a complex issue. The code for our method is available at https://github.com/cdancette/detect-shortcuts.

研究の動機と目的

• テキストと視覚の共起を掘り下げて、VQA データセットにおけるマルチモーダル・ショートカットを特定する。
• 再訓練なしでショートカットへのモデル依存を検証する VQA-CounterExamples (VQA-CE) 評価を開発する。
• VQA-CE を用いて VQA v2 データセット上でさまざまな VQA モデルとバイアス低減手法を評価する。
• 最も多く悪用されるショートカットと、カウンターエクザンプルがモデル性能に与える影響を分析する。

提案手法

• 各 VQA トリプレット（画像、質問、回答）を、語彙トークン、検出されたオブジェクト、および回答上のバイナリベクトルとしてエンコードする。
• 頻出アイテムセットマイニング（GMiner）を適用して、前件と後件を抽出し、A -> C という規則を形成する。
• トレーニング時の信頼度と冗長性で規則をフィルタリングし、妥当なショートカットの集合を得る。
• 高信頼度ルールからショートカットベースの分類器を構築し、検証データで予測力を評価する。
• 再訓練なしで、VQA v2 の検証集合においてショートカットが失敗する場合と成功する場合の Counterexamples および Easy subsets を作成する。
• 全体の正解率と Counterexamples および Easy subsets の正解率を比較することで VQA-CE プロトコルを用いたモデル性能を評価する。

Figure 1: Overview of this work. We first mine simple predictive rules in the training data such as: what + sport + $\color[rgb]{1,0.49609375,0}{\mathrm{racket}^{V}}$ $\rightarrow$ tennis . We then search for counterexamples in the validation set that identify some rules as undesirable statistical s

実験結果

リサーチクエスチョン

• RQ1 VQA v2 のトレーニングデータには、どのようなマルチモーダル・ショートカット（テキスト＋視覚的手がかり）が存在するか？
• RQ2 現在の VQA モデルはこれらのマルチモーダル・ショートカットに依存しているのか、またバイアス低減手法はこの依存を軽減できるのか？
• RQ3 ショートカットベースの Counterexamples は、標準評価と比べて最先端の VQA モデルのどのような弱点を明らかにするのか？
• RQ4 特定のショートカットが特定のモデルによって最も多く悪用されていることを特定できるか？

主な発見

• VQA v2 のトレーニングデータには多くのマルチモーダル・ショートカットが存在し、検証データで予測力があり、多くはマルチモーダルである（約90%）。
• 最先端の VQA モデルは Counterexamples サブセットで著しい正解率低下を示す（UpDown、SAN、BLOCK、VilBERT などのモデルで約29ポイントの損失）。
• mined ルールを用いたショートカットベースの分類器は、VQA v2 検証で全体精度 42.26% を達成し、強力なベースラインと同等だが、Counterexamples では 0% を示し、ショートカットへの依存を示す。
• バイアス低減手法（例：RUBi、LMH 変種、ESR）は Counterexamples での改善が限定的で、Easy-subset の性能を損なうことが多く、自然なマルチモーダル・ショートカットへの適用は限定的であることを示す。
• 特定のショートカットはモデルの予測と高い相関を示し（高信頼度のマルチモーダル規則を含む）、中にはモデル出力と100%の相関に達するものもあり、モデルが実践でこれらのショートカットを利用していることを強調している。

Figure 2: Pipeline of the proposed method to detect potential shortcuts in a VQA training set. We detect and label objects in images with a Faster R-CNN model. We then summarize each VQA example with binary indicators representing words in the question, answer, and labels of detected objects. Finall