[論文レビュー] Question-Conditioned Counterfactual Image Generation for VQA

Jingjing Pan, Yash Goyal+1 more|arXiv (Cornell University)|Nov 14, 2019

Advanced X-ray and CT Imaging参考文献 14被引用数 11

ひとこと要約

この論文は、視覚的質問応答（VQA）のための質問条件付き反事後的画像生成フレームワークを提案している。このフレームワークは、VQAモデルが異なる答えを予測するように、最小限の編集が加えられ、現実的である画像を生成する。画像、質問、正解ラベルを条件として用いたLingUNetアーキテクチャを用い、敵対的損失、L2損失、交差エントロピー損失を組み合わせて、意味的に関連する編集を生成する。特に色に関する質問に対して顕著で、VQAの正答率を64.33%から57.64%に低下させ、『何色ですか』という質問では34.02%まで低下させる。

ABSTRACT

While Visual Question Answering (VQA) models continue to push the state-of-the-art forward, they largely remain black-boxes - failing to provide insight into how or why an answer is generated. In this ongoing work, we propose addressing this shortcoming by learning to generate counterfactual images for a VQA model - i.e. given a question-image pair, we wish to generate a new image such that i) the VQA model outputs a different answer, ii) the new image is minimally different from the original, and iii) the new image is realistic. Our hope is that providing such counterfactual examples allows users to investigate and understand the VQA model's internal mechanisms.

研究の動機と目的

• VQAモデルのブラックボックス性を解消するために、モデルの意思決定を説明する反事後的画像を生成すること。
• 小さな画像変更がどのように異なる答えをもたらすかを示すことで、判別性があり人間が理解可能な説明を提供すること。
• 生成された反事後的画像が元の画像と最小限に異なり、視覚的に現実的であることを保証すること。
• 画像編集を質問に正確に条件づけることで、関連性と意味的整合性を確保すること。
• 制御された摂動を通じて、VQAモデルの予測に最も影響を与える視覚的特徴をユーザーが特定できるようにすること。

提案手法

• 入力画像、質問、正解ラベルを条件として用いたLingUNetアーキテクチャを用いて、反事後的画像を生成する。
• VQAモデルの言語エンコーディングと最終的な予測スコア（ログティス）を用い、それらを連結して全結合層で投影することで、生成器を条件づける。
• 3つの損失関数を用いて学習する：元の答えから逸脱するように予測を変えるための交差エントロピー損失の逆数、画素レベルの差を最小化するL2損失、および現実性を強制するGANの判別器。
• GAN学習の安定化と敵対的アーチファクトの回避のため、勾配クリッピングとソフトラベルを適用する。
• 言語条件づけと完全な損失最適化を導入する前に、L2損失のみで生成器をウォームスタートする。
• 『ディープドリーム』効果のようなアーチファクトを防ぎ、知覚的品質を保つために、判別器を微調整する。

実験結果

リサーチクエスチョン

• RQ1 VQAモデルの予測を変えるが、視覚的に現実的である反事後的画像を生成できるか？
• RQ2 モデルは、入力質問と元の答えに関連する意味的整合性のある編集をどれほど効果的に生成できるか？
• RQ3 生成された編集は、人間の意味的変化の認識とどの程度一致するか？
• RQ4 モデルの性能は、特に『何色ですか』という質問と他の意味的カテゴリとでどのように異なるか？
• RQ5 モデルは編集を関連する画像領域に局在化できるか、それとも無関係なオブジェクトを過剰に編集してしまうか？

主な発見

• バリデーションセット上で生成された反事後的画像に対してVQAモデルの正答率が64.33%から57.64%に低下した。これは意味的変化が効果的に実現されたことを示している。
• 『何色ですか』という質問では、正答率が72.64%から34.02%に顕著に低下した。これは、色関連の反事後的生成において優れた性能を示している。
• モデルは色関連の質問に対して、答えの予測を効果的に変更できており、VQAシステムと人間のアノテーターの両方が、新しい色が異なると認識している。
• 色以外の質問では、モデルが予測を意味的に変えることができず、人間には認識できない編集がなされることが多く、アノテーションで合意が得られないケースが生じた。
• 無関係な画像領域（例：図2cのシャツの色の変更）の過剰編集が観察された。これは、編集の空間的局在化に欠けることを示している。
• 一部の出力にチェッカーパattersが見られたが、広範な判別器の微調整により敵対的アーチファクトを回避した結果、全体的な現実性は維持された。