[論文レビュー] A Study on Multimodal and Interactive Explanations for Visual Question Answering

Kamran Alipour, Jürgen P. Schulze+3 more|arXiv (Cornell University)|Mar 1, 2020

Multimodal Machine Learning Applications参考文献 32被引用数 8

ひとこと要約

本論文は、視覚的注意マップ、文書的根拠、およびユーザーが注意マップを編集できるインタラクティブな「アクティブアテンション」インターフェースを組み合わせた、マルチモーダルでインタラクティブな視覚質問応答（VQA）の説明システムを提案する。90名の参加者を対象としたユーザースタディを通じて、説明がユーザーのVQAシステムの正しさを予測する能力を顕著に向上させることを示した。特にシステムが誤りを出した場合に顕著であり、説明の評価と予測性能の間に強い相関が確認された。これは、人間とAIの協働における説明の有効性を裏付けている。

ABSTRACT

Explainability and interpretability of AI models is an essential factor affecting the safety of AI. While various explainable AI (XAI) approaches aim at mitigating the lack of transparency in deep networks, the evidence of the effectiveness of these approaches in improving usability, trust, and understanding of AI systems are still missing. We evaluate multimodal explanations in the setting of a Visual Question Answering (VQA) task, by asking users to predict the response accuracy of a VQA agent with and without explanations. We use between-subjects and within-subjects experiments to probe explanation effectiveness in terms of improving user prediction accuracy, confidence, and reliance, among other factors. The results indicate that the explanations help improve human prediction accuracy, especially in trials when the VQA system's answer is inaccurate. Furthermore, we introduce active attention, a novel method for evaluating causal attentional effects through intervention by editing attention maps. User explanation ratings are strongly correlated with human prediction accuracy and suggest the efficacy of these explanations in human-machine AI collaboration tasks.

研究の動機と目的

• マルチモーダルでインタラクティブな説明が、VQAシステムの挙動を人間が理解し、予測する能力を向上させるかどうかを評価すること。
• 人間-AI協働におけるユーザーの自己信頼、依存度、および認知的モデルの構築に、説明がどのように影響するかを調査すること。
• ユーザーが注意マップを編集し、即時のシステムフィードバックを観察できる、新たなインタラクティブ手法「アクティブアテンション」を導入・評価すること。
• 説明の有用性の評価とユーザーの予測精度との相関を測定すること。
• VQAシステムが誤った回答を提供した場合に、説明の種別がユーザーのパフォーランスに与える影響を評価すること。

提案手法

• 90名の参加者を対象とした被験者間および被験者内ユーザースタディを実施し、説明ありと説明なしの状況での予測精度を比較した。
• 空間的注意マップ、文書的根拠、および注意マップを編集可能な新規のインタラクティブな「アクティブアテンション」インターフェースを含むマルチモーダルな説明を提供した。
• 各予測タスクにおける説明の有用性と自己信頼度をユーザーが評価した。
• 正誤予測タスクを実施し、VQAシステムの回答が正しいかどうかをユーザーが予測した。性能は、説明ブロックと非説明ブロックで測定した。
• アクティブアテンションを用いて、ユーザーが注意マップを編集し、即時のフィードバックを観察できるようにした。これにより、注意の影響を因果的に評価可能となった。
• 説明の評価、予測精度、自己信頼度の相関を分析し、説明の有効性を評価した。

実験結果

リサーチクエスチョン

• RQ1 視覚的・文書的・インタラクティブなマルチモーダルな説明を提供することで、ユーザーのVQAシステムの回答の正しさを予測する能力が向上するか？
• RQ2 説明の評価は、ユーザーの予測精度および自己信頼度とどの程度相関するか？
• RQ3 インタラクティブな説明（アクティブアテンション）は、ユーザーの信頼およびVQAの予測結果に対するパフォーマンスにどのような影響を与えるか？
• RQ4 VQAシステムが正しくない場合と正しい場合とで、ユーザーの予測行動はどのように異なるか。特に、説明の使用と関連してどうか？
• RQ5 矛盾するまたは過剰な説明モードが、ユーザーのパフォーランスをどの程度低下させるか？

主な発見

• 説明は、特にVQAシステムが誤った回答を出した場合に、ユーザーの予測精度を顕著に向上させた。
• 説明をより有用と評価したユーザーは、システムの正しさをより正確に予測する傾向にあり、説明の質とユーザーのパフォーランスの間に強い相関があることを示した。
• ユーザーの自己信頼度は、VQAシステム自身の信頼度スコア（上位回答の確率）と強く相関しており、ユーザーがシステムの動作を信頼できる認知的モデルを構築していることを示唆した。
• アクティブアテンションインターフェースは、他の説明モードと比較して、ユーザーの自己信頼度を高めた。これは、ユーザーの信頼と理解を高める有効性を示している。
• 複数の矛盾する説明モード（例：ALグループ）にさらされたグループでは、パフォーランスが向上せず、一部のユーザーは情報過多や信号の矛盾により混乱を報告した。
• システムが誤りを起こした場合に、有用性が評価された説明は、誤った状況で誤解を招く可能性があることが判明し、失敗状況におけるより強固な説明設計の必要性が浮き彫りになった。