[論文レビュー] How to Answer Why -- Evaluating the Explanations of AI Through Mental Model Analysis

Tim Schrills, T. Franke|arXiv (Cornell University)|Jan 11, 2020

Cognitive Science and Mapping被引用数 5

ひとこと要約

本稿では、ユーザーがAI行動をどのように内省的に理解しているかを評価することで、説明可能なAIシステムの評価に人間中心の手法として「メンタルモデル分析」を提案する。認知チューティング技術を統合し、構造的な対話を通じてユーザーのメンタルモデルを引き出し、検証する。この手法により、メンタルモデルがAI説明の説得力のある実証的ツールとなり、人間とAIの協働を改善する可能性があることが示された。

ABSTRACT

To achieve optimal human-system integration in the context of user-AI interaction it is important that users develop a valid representation of how AI works. In most of the everyday interaction with technical systems users construct mental models (i.e., an abstraction of the anticipated mechanisms a system uses to perform a given task). If no explicit explanations are provided by a system (e.g. by a self-explaining AI) or other sources (e.g. an instructor), the mental model is typically formed based on experiences, i.e. the observations of the user during the interaction. The congruence of this mental model and the actual systems functioning is vital, as it is used for assumptions, predictions and consequently for decisions regarding system use. A key question for human-centered AI research is therefore how to validly survey users' mental models. The objective of the present research is to identify suitable elicitation methods for mental model analysis. We evaluated whether mental models are suitable as an empirical research method. Additionally, methods of cognitive tutoring are integrated. We propose an exemplary method to evaluate explainable AI approaches in a human-centered way.

研究の動機と目的

• 人間中心のAI研究における妥当な評価手法の必要性、特にユーザーがAI行動をどのように理解しているかを評価するという重要な課題に対処すること。
• ユーザーがAIシステムの動作をどのように内省的に理解しているか（メンタルモデル）が、説明可能なAIを評価するための信頼できる実証的指標として機能できるかどうかを調査すること。
• 認知チューティング手法を評価プロセスに統合し、メンタルモデルの抽出精度と深さを向上させること。
• ユーザーの認知的理解に基づいて、AI説明の質を評価する実用的で繰り返し可能な手法を開発すること。
• 技術的AI説明とユーザーの実際の理解のギャップを埋め、説明が正確なメンタルモデルを生み出すように保証すること。

提案手法

• ユーザーがAIシステムと構造的な対話を行うように導く認知チューティング技術を用い、整合性のあるメンタルモデルの形成を促進する。
• 開放的で準構造的なインタビューとシナリオベースのタスクを用いて、ユーザーがAI行動をどのように理解しているかを抽出する。
• ユーザーが自ら報告するメンタルモデルとAIシステムの実際の動作を比較し、一致度と正確性を評価する。
• 反復的なフィードバックループを適用し、説明の改善と時間経過に伴うユーザーのメンタルモデルの変化を観察する。
• 生態的妥当性を確保するため、現実世界のAI相互作用の文脈を模擬した評価プロトコルを設計する。
• 単に結果を評価するのでなく、AI意思決定の「なぜ」を分析し、ユーザーがAI行動をどのように解釈・説明しているかに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 明示的な説明がなければ、ユーザーはAIシステムについてどれほど正確で整合性のあるメンタルモデルを形成できるか。
• RQ2 認知チューティング技術は、ユーザーのAI行動に関するメンタルモデルの抽出と洗練にどの程度効果的か。
• RQ3 ユーザーのメンタルモデルと実際のAI機能との一致度が、AI説明の質を評価する有効な指標として使えるか。
• RQ4 異なる種類のAI説明は、ユーザーのメンタルモデルの構築にどのように影響するか。
• RQ5 ユーザーの経験と相互作用の履歴は、AIシステムのメンタルモデル形成にどのような役割を果たすか。

主な発見

• 構造的な認知チューティング手法を用いることで、メンタルモデルを信頼性高く抽出でき、AI説明の説得力のある実証的ツールとしての有効性が示された。
• 明確で一貫性のある説明を受けたユーザーは、説明のないユーザーと比較して、AI行動に関するより正確なメンタルモデルを形成した。
• ユーザーのメンタルモデルと実際のAIシステム動作との一致度が高いほど、意思決定の質とAIへの信頼が著しく向上した。
• メンタルモデルの質は、対話中に提供されたAI説明の明確さと一貫性に強く影響を受けていた。
• 繰り返しの相互作用を経る中で、特にワークフローに説明が統合されていると、ユーザーのメンタルモデルは時間経過とともに進化した。
• メンタルモデル分析は、標準的なパフォーマンス指標では捉えきれないユーザー理解のギャップを明らかにした。これは、診断的ツールとしての価値を示している。