[論文レビュー] Do Explanations make VQA Models more Predictable to a Human?

Arjun Chandrasekaran, Viraj Prabhu+3 more|arXiv (Cornell University)|Oct 29, 2018

Multimodal Machine Learning Applications参考文献 21被引用数 8

ひとこと要約

本論文は、機械生成の説明が視覚的質疑応答（VQA）モデルの行動を人間が予測しやすくするかを調査する。アマゾン・メカニカル・トゥーカーを用いた人間を含むループ研究を通じて、モデルの理解が進むことで人間の予測精度が向上する一方で、注意マップや自然言語による根拠といった既存の説明モダリティは、予測性を顕著に向上させないことが判明。これは、説明が人間とAIの協働を改善すると仮定する考え方に疑問を呈する。

ABSTRACT

A rich line of research attempts to make deep neural networks more transparent by generating human-interpretable 'explanations' of their decision process, especially for interactive tasks like Visual Question Answering (VQA). In this work, we analyze if existing explanations indeed make a VQA model -- its responses as well as failures -- more predictable to a human. Surprisingly, we find that they do not. On the other hand, we find that human-in-the-loop approaches that treat the model as a black-box do.

研究の動機と目的

• 機械生成の説明が、人間がVQAモデルの行動を予測する能力を向上させるかどうかを評価すること。
• 説明が、モデルの成功・失敗および反応を人間が理解するのを助けるかどうかを調査すること。
• 説明モダリティと人間のモデルへの慣れの有効性を比較し、モデルの予測可能性を向上させる要因を評価すること。
• 協働意思決定の文脈における人間-AI相互作用のダイナミクスの役割を評価すること。
• 説明が人間-AIチームにおける信頼性や使いやすさを inherently 向上させるという仮定に疑問を呈すること。

提案手法

• Lu et al. (2016) に基づくVQAモデル（Vicki）を用い、VQA-1.0で学習済み。画像および質問の注意マップにアクセス可能。
• アマゾン・メカニカル・トゥーカーを用いた人間被験者研究を通じて、失敗予測（FP）および知識予測（KP）タスクを評価。
• 参加者に2種類の支援を提供：(1) モデルの行動に慣れることを目的としたトレーニングフェーズ、(2) さまざまな説明モダリティ（例：注意マップ、自然言語による根拠）への暴露。
• FP（正しく/誤って予測）およびKP（正確な回答の予測）の両方の予測パフォーマンスを、正答率という指標で測定。
• 背景要因がモデルの予測可能性に与える影響を分析するため、人種的背景およびAIリテラシーに関するデータを収集。
• 制御された実験デザインを採用。ランダムに選択された画像-質問ペアおよび説明条件を用いることで、説明および慣れの影響を明確に分離。

実験結果

リサーチクエスチョン

• RQ1 注意マップや自然言語による根拠といった説明モダリティは、人間がVQAモデルの応答を予測する能力を向上させるか？
• RQ2 VQAモデルの行動に人間を慣れさせることで、その成功・失敗を予測する能力が向上するか？
• RQ3 説明に依存せずに、人間がVQAモデルの正確な回答をどの程度予測できるか？
• RQ4 特定のモデルの癖（例：支配的色の偏向、質問の最初の単語に依存）は、露出によって人間が予測可能になるか？
• RQ5 説明の有無が、インタラクティブな文脈における人間のモデル信頼性および予測可能性の認識にどのように影響するか？

主な発見

• トレーニングフェーズを経ることで、人間はモデルの応答および失敗を、単なる当てずっぽい予測よりも顕著に正確に予測できる。
• モデルの行動に慣れることで、失敗予測および知識予測の両タスクにおいて、人間のパフォーマンスが著しく向上する。
• 広く用いられているにもかかわらず、注意マップや自然言語による根拠といった説明モダリティは、人間の予測精度を向上させない。
• モデルは一貫したバイアスを示しており、たとえば「色」に関する質問では支配的色を好む傾向や、質問の最初の単語に依存する傾向がある。人間は露出によってこれらのバイアスを予測可能に学習できる。
• 人間のモデル行動予測能力は、説明によって向上しない。これは、説明が人間-AI協働の目的を果たしていない可能性を示唆する。
• プログラミング経験やAIシステムへの慣れといった、AIリテラシー要因や人種的背景が、より良い予測パフォーマンスと相関している。これは、ユーザーの背景がモデルの予測可能性に影響を与えることを示している。