[論文レビュー] It Takes Two to Tango: Towards Theory of AI's Mind

Arjun Chandrasekaran, Deshraj Jain+3 more|arXiv (Cornell University)|Apr 3, 2017

Multimodal Machine Learning Applications参考文献 71被引用数 34

ひとこと要約

本稿では、AIの心の理論（ToAIM）という概念を提唱し、人的なAI連携を効果的に行うためには、人間がAIシステムの長所・短所・特徴を理解する必要があると主張している。これは、AIが人間を理解するのと同様に、人間もAIを理解する必要があることを意味する。視覚的質問応答（VQA）の文脈において、一般の人々は50例の訓練例を経験しただけで、VQAモデルの挙動（失敗や回答の予測）を予測する能力が向上したが、標準的な説明モダリティ（例：注目マップ、信頼度スコア）は役に立たず、場合によっては性能を悪化させた。

ABSTRACT

Theory of Mind is the ability to attribute mental states (beliefs, intents, knowledge, perspectives, etc.) to others and recognize that these mental states may differ from one's own. Theory of Mind is critical to effective communication and to teams demonstrating higher collective performance. To effectively leverage the progress in Artificial Intelligence (AI) to make our lives more productive, it is important for humans and AI to work well together in a team. Traditionally, there has been much emphasis on research to make AI more accurate, and (to a lesser extent) on having it better understand human intentions, tendencies, beliefs, and contexts. The latter involves making AI more human-like and having it develop a theory of our minds. In this work, we argue that for human-AI teams to be effective, humans must also develop a theory of AI's mind (ToAIM) - get to know its strengths, weaknesses, beliefs, and quirks. We instantiate these ideas within the domain of Visual Question Answering (VQA). We find that using just a few examples (50), lay people can be trained to better predict responses and oncoming failures of a complex VQA model. We further evaluate the role existing explanation (or interpretability) modalities play in helping humans build ToAIM. Explainable AI has received considerable scientific and popular attention in recent times. Surprisingly, we find that having access to the model's internal states - its confidence in its top-k predictions, explicit or implicit attention maps which highlight regions in the image (and words in the question) the model is looking at (and listening to) while answering a question about an image - do not help people better predict its behavior.

研究の動機と目的

• 人間とAIの連携における不均衡を是正するため、AIが人間を理解するように訓練されている一方で、人間がAIを理解するように訓練されていないという状況に対処する。
• 一般の人々が最小限のインタラクションを通じて、AIの挙動に対する直感的理解を獲得できるかどうかを調査する。
• 既存の説明モダリティ（例：注目マップ、信頼度スコア）が、人間がAIの挙動を予測する能力を向上させるかどうかを評価する。
• AIチームメイトの理解度を測る二つのタスク—失敗予測と知識予測—を提案・検証する。
• 現在の説明可能性手法におけるギャップを特定し、AIの挙動を人間がより的確に予測できるようにする新しいモダリティの必要性を提唱する。

提案手法

• 研究では、人間-AI連携の文脈で使用されるAIチームメイトとして、VQAモデル「Vicki」を用いた。
• Amazon Mechanical Turkの参加者が二つのタスクを実施する：失敗予測（Vickiが正しく回答するかどうかを予測）と知識予測（正確な回答を予測）。
• 参加者は、テストの前に50件のラベル付き例（画像-質問ペアとVickiの回答）を提示され、慣れを構築する。
• テスト中、参加者にトップ-kの信頼度スコア、注目マップ、および暗黙の注目（implicit attention）などの説明モダリティを提示し、その影響を評価した。
• 性能は、失敗予測および知識予測タスクにおける正答率で測定され、説明モダリティの有無を比較した。
• アブレーションスタディでは、即時フィードバック（IF）のみと、IFに加えて説明モダリティを提示した条件を比較し、説明モダリティの導入により性能に改善がなく、場合によっては低下したことが判明した。

実験結果

リサーチクエスチョン

• RQ1 一般の人々は、VQAシステムとの最小限のインタラクションを通じて、AIの挙動（ToAIM）を信頼できるメンタルモデルとして構築できるか？
• RQ2 標準的な説明モダリティ（例：注目マップ、信頼度スコア）は、VQAモデルの挙動を予測する能力をどの程度向上させるか？
• RQ3 説明モダリティの露出は、AIの挙動におけるパターンの過剰適合（overfitting）や幻覚（hallucination）を引き起こすか？
• RQ4 50例のAIとのなじみ（familiarity）と、説明モダリティに依存する場合の、AI性能予測能力を比較するとどうなるか？
• RQ5 失敗予測および知識予測タスクのパフォーマンスは、異なるVQAモデル間で一般化可能か？

主な発見

• 一般の人々は、わずか50例の訓練例を経験した後、VQAモデルの挙動を予測する能力が著しく向上した。これは、単なるなじみの有無だけで、効果的なToAIMの構築が可能であることを示している。
• 信頼度スコア、注目マップ、暗黙の注目などの説明モダリティの追加は、失敗予測および知識予測の両タスクにおいて、予測精度を向上させなかった。
• 一部のケースでは、説明モダリティの存在が、知識予測のパフォーマンスを統計的に有意に低下させた。これは、説明がユーザーを誤導するか、過剰適合を促進する可能性があることを示唆している。
• 説明モダリティにさらされた参加者は、AIの挙動にパターンを幻覚的に認識する傾向が高かった。これは、現在のモダリティが正確なメンタルモデルの構築を支援していないことを示している。
• VQAモデルの挙動予測パフォーマンスは、異なるVQAモデル間でも一般化された。これは、ToAIMのスキルが移植可能である可能性を示唆している。
• 本研究は、現在の説得可能なAI（XAI）における重要なギャップを明らかにした。既存のモダリティは、ユーザーがAIの挙動をより的確に予測できるようにはならない。これにより、より効果的な説明設計の開発が急務であると結論づけた。