[論文レビュー] Self-Critical Reasoning for Robust Visual Question Answering

Jialin Wu, Raymond J. Mooney|arXiv (Cornell University)|May 24, 2019

Multimodal Machine Learning Applications参考文献 37被引用数 91

ひとこと要約

この論文は、最も影響力のある画像領域に過敏になって誤答を生むVQAの自己批判的トレーニング目的を導入し、人間またはQA由来の説明を用いて物体の重要性を導くことで、VQA-CPデータセットでの一般化性能を最先端まで改善している。

ABSTRACT

Visual Question Answering (VQA) deep-learning systems tend to capture superficial statistical correlations in the training data because of strong language priors and fail to generalize to test data with a significantly different question-answer (QA) distribution. To address this issue, we introduce a self-critical training objective that ensures that visual explanations of correct answers match the most influential image regions more than other competitive answer candidates. The influential regions are either determined from human visual/textual explanations or automatically from just significant words in the question and answer. We evaluate our approach on the VQA generalization task using the VQA-CP dataset, achieving a new state-of-the-art i.e., 49.5% using textual explanations and 48.5% using automatically annotated regions.

研究の動機と目的

• VQAモデルが言語事前知識に過度にフィットし、QA分布の変化下で一般化が低下する問題を動機づける。
• 誤答の影響されやすさを抑制する自己批判的トレーニング目的を提案する。
• 人間の視覚/テキスト説明またはQA由来の物体集合を活用して影響力のある領域を特定する。
• 人間の説明の有無に関係なくUpDnベースのモデルでVQA-CPにおける一般化の改善を示す。

提案手法

• Base VQA system: Bottom-Up Top-Down (UpDn) architecture.
• Identify an influential object set I per QA pair from visual explanations (VQA-HAT), textual explanations (VQA-X), or QA-based nouns.
• Compute answer sensitivity to objects using a modified Grad-CAM (no ReLU, no feature-vector weighting).
• Strengthen the most influential object via an influence-strengthening loss L_infl to ensure the correct answer is grounded on influential regions.
• Introduce a self-critical loss L_crit that minimizes the sensitivity gap for competitive incorrect answers w.r.t. the most influential object v* (weighted by cosine distance of GloVe embeddings).
• Training regimen: pre-train with L_vqa, fine-tune with L_infl, then jointly optimize L_vqa + λ_infl L_infl + λ_crit L_crit, using a bucket of top-5 competing answers; object set size is small (6) and proposals come from explanations or QA nouns.

実験結果

リサーチクエスチョン

• RQ1 自分批判的目的は、VQAにおける誤答の最も影響力のある画像領域への敏感さを低減できるか。
• RQ2 人間の（視覚/テキスト）説明またはQA由来の物体集合を活用することで、前提知識の変更（VQA-CP）に対する一般化が改善されるか。
• RQ3 提案手法は正答と誤答が影響力のある物体へ grounding される様子をデータセット間でどう変えるか。

主な発見

解説	VQA-CP v2 テスト 全体	VQA-CP v2 テスト はい/いいえ	VQA-CP v2 テスト 数値	VQA-CP v2 テスト その他	VQA v2 バリデーション 全体	VQA v2 バリデーション はい/いいえ	VQA v2 バリデーション 数値	VQA v2 バリデーション その他
GVQA [1]	31.3	58.0	13.7	22.1	48.2	72.0	31.2	34.7
UpDn [2]	39.7	42.7	11.9	46.1	63.5	81.2	42.1	55.7
UpDn+AttAlign [25]	38.5	42.5	11.4	43.8	61.0	78.9	38.4	53.3
UpDn+AdvReg. [21]	41.2	65.5	15.5	35.5	62.8	79.8	42.4	55.2
UpDn+SCR (ours) QA	48.47	70.41	10.42	47.29	62.3	77.4	40.9	56.5
UpDn+SCR (ours) HAT	49.17	71.55	10.72	47.49	62.2	78.9	41.4	54.3
UpDn+SCR (ours) VQA-X	49.45	72.36	10.93	48.02	62.2	78.8	41.6	54.5

• テキスト説明を用いた場合にVQA-CPで新たな最先端（49.5%）、視覚説明（VQA-HAT）での競争力ある結果（49.1%）、QA由来の物体での性能（48.5%）。
• VQA-HATまたはVQA-Xの監督を用いると、従来手法（例：HINT）よりもVQA-CPで大幅に改善。
• 自己批判的トレーニング後、偽の感度が大幅に低下（35.5%から約20%へ）、誤答の影響力のある領域依存を低減。
• 影響強化と自己批判ロスは、さまざまなロス重みと物体集合サイズで頑健な利得をもたらす。
• QAベースの影響物体提案は、人間提供提案と大きく重なる（VQA-Xで57.1%、VQA-HATで54.3%）ことを示し、QA由来の集合が意味のある領域を捉えていることを示唆する。