[論文レビュー] Impact Of Explainable AI On Cognitive Load: Insights From An Empirical Study

Lukas-Valentin Herm|arXiv (Cornell University)|Apr 18, 2023

Explainable Artificial Intelligence (XAI)被引用数 12

ひとこと要約

271名の見込み医師を対象とした実証研究は、異なるXAI説明タイプがCOVID-19のケースで認知負荷、タスク実行、タスク時間に有意な影響を与えることを示している。

ABSTRACT

While the emerging research field of explainable artificial intelligence (XAI) claims to address the lack of explainability in high-performance machine learning models, in practice, XAI targets developers rather than actual end-users. Unsurprisingly, end-users are often unwilling to use XAI-based decision support systems. Similarly, there is limited interdisciplinary research on end-users' behavior during XAI explanations usage, rendering it unknown how explanations may impact cognitive load and further affect end-user performance. Therefore, we conducted an empirical study with 271 prospective physicians, measuring their cognitive load, task performance, and task time for distinct implementation-independent XAI explanation types using a COVID-19 use case. We found that these explanation types strongly influence end-users' cognitive load, task performance, and task time. Further, we contextualized a mental efficiency metric, ranking local XAI explanation types best, to provide recommendations for future applications and implications for sociotechnical XAI research.

研究の動機と目的

• エンドユーザー（開発者以外）のXAI説明に対する認知反応を理解することを動機づける。
• 実装に依存しないXAI説明タイプが認知負荷と性能に与える影響を定量化する。
• 将来の社会技術系XAI研究と実践的応用への推奨を提供する。

提案手法

• 271名の見込み医師を対象とした実証研究を実施する。
• COVID-19のケースを用いて、異なるXAI説明タイプに対して認知負荷、タスク性能、タスク時間を測定する。
• 説明タイプが三つの成果指標にどのように影響するかを分析する。

実験結果

リサーチクエスチョン

• RQ1 異なるXAI説明タイプはエンドユーザーの認知負荷に対して差異をもって影響するか？
• RQ2 XAI説明は臨床意思決定支援の文脈でタスク性能とタスク時間にどのように影響するか？
• RQ3 どのXAI説明タイプがエンドユーザーの認知効率（メンタルエフィシエンシー）を最適化するか？

主な発見

• 説明タイプは認知負荷、タスク性能、タスク時間に強い影響を与える。
• 特定の局所的なXAI説明タイプはメンタルエフィシエンシーで高く順位付けされ、エンドユーザーにとってより効果的であることを示唆している。
• 本研究は説明タイプを比較し将来の応用を指針づけるためのメンタルエフィシエンシー指標を文脈化している。