[論文レビュー] Faithful Multimodal Explanation for Visual Question Answering

Jialin Wu, Raymond J. Mooney|arXiv (Cornell University)|Sep 8, 2018

Multimodal Machine Learning Applications参考文献 32被引用数 9

ひとこと要約

本論文は、視覚的質問応答（VQA）のための忠実なマルチモーダル説明フレームワークを提案する。このフレームワークは、VQAモデルが実際に注目した画像領域に関連付けられたテキスト説明を統合する。Grad-CAMを用いてVQAシステムの注目と整合する人間の説明で訓練し、予測のための視覚的説明と説明の間の整合性を強制することで、先行手法と比較して著しく忠実性が向上し、人間の理解度も向上する。VQA-Xベンチマークでは、不忠実性が17%削減され、忠実性スコアが56%に達した。

ABSTRACT

AI systems' ability to explain their reasoning is critical to their utility and trustworthiness. Deep neural networks have enabled significant progress on many challenging problems such as visual question answering (VQA). However, most of them are opaque black boxes with limited explanatory capability. This paper presents a novel approach to developing a high-performing VQA system that can elucidate its answers with integrated textual and visual explanations that faithfully reflect important aspects of its underlying reasoning while capturing the style of comprehensible human explanations. Extensive experimental evaluation demonstrates the advantages of this approach compared to competing methods with both automatic evaluation metrics and human evaluation metrics.

研究の動機と目的

• モデルの実際の推論プロセスを反映する説明を生成するVQAシステムの開発。
• テキスト説明が予測時にモデルが実際に注目した視覚的特徴に忠実であることを保証すること。
• 説明の言葉が推論に使用された関連画像領域を指すように、視覚的およびテキスト的説明を統合すること。
• システムの推論プロセスを透明かつ理解可能にすることで、ユーザーの信頼を高めること。
• 自動メトリクス（LIME、Grad-CAM）と人間評価を用いた忠実性の評価。

提案手法

• 事前学習済みVQAモジュールを用い、Bottom-Up-Top-Down注目メカニズムにより、回答予測と関連画像領域の注目を生成する。
• 質問、回答、およびVQAが注目した視覚的特徴を条件として、系列モデルを用いてテキスト説明を生成する。
• 訓練中は、Grad-CAMに基づく視覚的説明の整合性によって、VQAモデルの注目と整合する人間の説明のみを用いる。
• テキスト説明の勾配ベース視覚的説明と予測回答のそれとの整合性を保つため、忠実性損失 $\mathcal{L}_f$ を導入する。
• 説明の言葉が実際に注目された視覚的対象を指すように、勾配ベース手法（Grad-CAM）を用いて説明と画像セグメントを関連付ける。
• LIMEを用いて注目領域の忠実性を検証し、VQAモデルの注目と一致しない説明はフィルタリングする。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル説明システムは、VQAモデルが実際に注目した視覚的特徴に忠実なテキスト説明を生成できるか？
• RQ2 VQAモデルの注目と説明の視覚的焦点との整合性を強制することで、忠実性はどのように向上するか？
• RQ3 モデルの推論と整合する人間がアノテートした説明は、ランダムに抽出されたものと比較して、どの程度説明の質を向上させるか？
• RQ4 自動忠実性メトリクス（LIMEおよびGrad-CAM）は、マルチモーダル説明の忠実性を信頼性を持って測定できるか？
• RQ5 視覚的およびテキスト的説明の統合は、人間の理解度とVQAシステムへの信頼を向上させるか？

主な発見

• Grad-CAMの整合性に基づいてフィルタリングされた忠実な人間の説明のみを用いることで、K=1のときLIMEベースの忠実性スコアが0.588（ランダム）から0.636に向上し、忠実性損失を追加することでさらなる向上が得られた。
• 忠実性損失 $\mathcal{L}_f$ の追加により、Grad-CAMベースの忠実性スコアが0.45（フィルタリング後）から0.56に上昇し、相対的に11%の向上が得られた。
• 説明と回答の視覚的説明のコサイン類似度の分布において、忠実な説明と $\mathcal{L}_f$ を用いた際、0.1未満のスコアが17%減少した。これは不忠実性の低減を示している。
• フィルタリング済みの説明と $\mathcal{L}_f$ を用いた際、K=1のときLIMEベースの忠実性スコアが0.686に達し、顕著な影響を及ぼす画像領域と強い整合性を示した。
• 人間評価では、説明がより理解しやすく、かつより忠実であると確認された。特に、言葉が関連する画像領域を的確に指している点で、先行手法を上回った。
• 自動メトリクスと人間評価の両面で、本手法はベースラインを上回った。忠実性がVQAシステムの信頼性と解釈可能性を向上させることを確認した。