[論文レビュー] Attentive Explanations: Justifying Decisions and Pointing to the Evidence (Extended Abstract)

Dong Huk Park, Lisa Anne Hendricks+5 more|arXiv (Cornell University)|Nov 17, 2017

Multimodal Machine Learning Applications参考文献 8被引用数 4

ひとこと要約

本稿では、視覚的質問応答および行動認識のための視覚的意思決定タスクにおける人間によるテキスト的説明と視覚的ポイントングを備えた大規模データセット、VQA-X と ACT-X を紹介する。また、二重のアテンション機構を用いて意思決定の予測、自然言語による説明の生成、視覚的証拠への注目を同時に学習するマルチモーダルモデル（PJ-X）を提案し、説明の質と人間によるアノテート済み証拠との整合性が顕著に向上する。

ABSTRACT

Deep models are the defacto standard in visual decision problems due to their impressive performance on a wide array of visual tasks. On the other hand, their opaqueness has led to a surge of interest in explainable systems. In this work, we emphasize the importance of model explanation in various forms such as visual pointing and textual justification. The lack of data with justification annotations is one of the bottlenecks of generating multimodal explanations. Thus, we propose two large-scale datasets with annotations that visually and textually justify a classification decision for various activities, i.e. ACT-X, and for question answering, i.e. VQA-X. We also introduce a multimodal methodology for generating visual and textual explanations simultaneously. We quantitatively show that training with the textual explanations not only yields better textual justification models, but also models that better localize the evidence that support their decision.

研究の動機と目的

• 視覚的意思決定タスクにおける人間によるテキスト的および視覚的説明がアノテートされたデータセットの不足に対処すること。
• 人間の推論と整合するテキスト的説明と視覚的注目マップを生成できるマルチモーダルモデルの開発。
• 基準となる説明で学習させることで、モデルの局在化および説明の質が向上するかどうかを調査すること。
• 説明生成のためのアテンション機構を学習させることで、人間による視覚的証拠との整合性が向上するかどうかを評価すること。
• モデルの意思決定に条件づけた説明生成が、より高品質な説明をもたらすかどうかを実証すること。

提案手法

• VQA-X（VQA用に30,000件の説明文を備える）および ACT-X（行動認識用に54,000件の文を備える）という2つの大規模データセットを提案。両者ともに人間によるテキスト的説明と視覚的ポイントングをアノテート済み。
• 回答を正当化する領域をアノテーターがセグメンテーションすることで、モデルの注目マップ評価のためのグランドトゥースを提供する視覚的ポイントングアノテーションを収集。
• 意思決定予測用（ans-att）と説明生成用（exp-att）の2つの異なるアテンション機構を備えた「ポイントングと説明（PJ-X）」モデルを設計。
• 明示的なボクシングボックスを必要とせず、画像、質問、回答、テキスト的説明の監視のみでモデルをエンドツーエンドに訓練。
• 二重のアテンション機構により、予測と説明生成の両過程でモデルの注目状態を内省可能とし、共同最適化を可能に。
• 人間によるポイントングとの間で地球移動距離（EMD）および順位相関を用いて視覚的注目マップを評価し、人間の推論との整合性を検証。

実験結果

リサーチクエスチョン

• RQ1 人間によるテキスト的説明で学習させることで、視覚的質問応答および行動認識における生成された説明の質が向上するか？
• RQ2 説明生成時のモデルの注目が、人間による視覚的証拠とどの程度整合しているか？
• RQ3 モデルの予測（例：回答やクラスラベル）に条件づけた説明生成は、画像特徴のみを用いる場合よりも効果的か？
• RQ4 説明生成のためのアテンション機構を組み込むことで、テキスト的説明と視覚的グランドトゥースの両方の質が向上するか？
• RQ5 注目領域の明示的監視が不要な状態で、1つのモデルが意思決定、説明生成、視覚的注目を同時に最適化できるか？

主な発見

• PJ-X モデルは、自動評価および人間評価の両方の指標でベースラインモデルを顕著に上回り、ACT-X では人間評価スコアが26.4、VQA-X では33.6 を記録。
• グランドトゥースの説明（VQA-X および ACT-X）で学習させることで、画像記述のみで学習したモデルと比較して人間評価スコアが10.4ポイント向上。
• モデルの予測（例：回答やクラスラベル）に条件づけた説明生成は、画像特徴のみを用いるキャプションモデルと比較して、ACT-X で7.2ポイント、VQA-X で14.4ポイントの人間評価スコア向上を達成。
• 説明用アテンションマップ（exp-att）は予測用アテンションマップ（ans-att）よりも人間による視覚的ポイントングとの整合性が高く、ACT-X では順位相関0.3744、VQA-X では0.3132 を達成。
• exp-att マップの地球移動距離（EMD）は、VQA-X で4.31、ACT-X で3.8 であり、ベースラインと比較して顕著に低く、人間によるアノテート済み視覚的証拠との整合性が優れていることを示す。
• アブレーションスタディにより、説明用アテンション機構と基準となる説明からの監視の両方が不可欠であることが確認された。両者を削除すると、説明の質が著しく低下した。