[論文レビュー] Roadmap of Designing Cognitive Metrics for Explainable Artificial Intelligence (XAI)

Janet H. Hsiao, Hilary Hei Ting Ngai+3 more|arXiv (Cornell University)|Jul 20, 2021

Explainable Artificial Intelligence (XAI)被引用数 15

ひとこと要約

本稿は、心理学および認知科学の原則を統合することで、説明可能AI（XAI）システムを評価するための認知的メトリクスのロードマップを提唱する。7つの主要な次元—適合性、満足度、理解度、好奇心、信頼、制御性、学習曲線—を特定し、ユーザーの理解度とシステム効果性を定量化するための主観的および客観的測定法を提示する。実装例として視覚的分類XAIシステムへの応用が示されている。

ABSTRACT

More recently, Explainable Artificial Intelligence (XAI) research has shifted to focus on a more pragmatic or naturalistic account of understanding, that is, whether the stakeholders understand the explanation. This point is especially important for research on evaluation methods for XAI systems. Thus, another direction where XAI research can benefit significantly from cognitive science and psychology research is ways to measure understanding of users, responses and attitudes. These measures can be used to quantify explanation quality and as feedback to the XAI system to improve the explanations. The current report aims to propose suitable metrics for evaluating XAI systems from the perspective of the cognitive states and processes of stakeholders. We elaborate on 7 dimensions, i.e., goodness, satisfaction, user understanding, curiosity & engagement, trust & reliance, controllability & interactivity, and learning curve & productivity, together with the recommended subjective and objective psychological measures. We then provide more details about how we can use the recommended measures to evaluate a visual classification XAI system according to the recommended cognitive metrics.

研究の動機と目的

• 技術的パフォーマンスを超えたXAIシステムの評価におけるギャップを埋めるために、ステークホルダーの認知状態に焦点を当てる。
• XAIインタラクションにおけるユーザーの理解度、信頼、関与度の測定可能な次元を特定・定義する。
• XAI研究と認知科学・心理学を結びつけることで、実証的根拠に基づく評価メトリクスを開発する。
• 主観的および客観的心理学的測定法を用いて、説明の質を測定する実用的なフレームワークを提供する。
• これらのメトリクスを視覚的分類タスクにおける実際のXAIシステムの評価に応用することを示す。

提案手法

• 7つのコアな認知的次元を特定：適合性、満足度、ユーザー理解度、好奇心・関与度、信頼・依存度、制御性・相互作用性、学習曲線・生産性。
• 各認知的次元を、主観的自己報告尺度と客観的行動的メトリクスの両方を含む、既存の心理学的測定技術にマッピングする。
• 認知負荷、メンタルモデル形成、信頼のキャリブレーションといった認知科学理論を、メトリクス設計に統合する。
• 提案されたメトリクスを現実世界の視覚的分類XAIシステムに適用し、実用性と妥当性を検証する。
• 混合手法による評価を実施：後続のタスクアンケートなどのアンケートと、インタラクションログおよびタスク実行パフォーマンスの追跡を統合する。
• ユーザーの反応とXAIシステムの最適化の間の反復的フィードバックループを通じて、メトリクスフレームワークの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 認知科学の原則をどのように体系的に応用して、XAIシステムの評価のためのメトリクスを設計できるか？
• RQ2 ユーザーのAI説明に対する理解度と信頼度を最も正確に反映する心理的次元は何か？
• RQ3 ユーザーの認知状態の変化を最もよく捉える主観的および客観的測定法は何か？
• RQ4 これらのメトリクスをどのように実装し、視覚的分類タスクにおける実際のXAIシステムの評価に応用できるか？
• RQ5 これらのメトリクスは、ユーザーのフィードバックに基づくXAI説明の反復的改善をどのように支援するか？

主な発見

• 提案された認知的メトリクスフレームワークは、正確性や忠実度を超えたXAIシステムの評価に、包括的で理論的根拠に基づいたアプローチを提供する。
• 説明後の満足度や信頼に関するアンケートといった主観的測定法は、説明の質に関するユーザーの認識を効果的に捉える。
• タスク完了時間、誤り率、インタラクション頻度といった客観的メトリクスは、認知負荷と理解度と相関している。
• 好奇心と関与度の測定を統合することで、インタラクティブで動的な説明が、より高いユーザーの関与度と記憶保持をもたらすことが明らかになった。
• 説明が制御可能で、反復的探索を可能にする場合、ユーザーの学習曲線が改善される。
• このフレームワークにより、ユーザーの認知的反応に応じてリアルタイムで説明を調整できる、実行可能なフィードバックループが可能になる。