[論文レビュー] Human-Centered Explainable AI (XAI): From Algorithms to User Experiences

Q. Vera Liao, Kush R. Varshney|arXiv (Cornell University)|Oct 20, 2021

Explainable Artificial Intelligence (XAI)参考文献 98被引用数 16

ひとこと要約

この論文は、説明可能性が技術的指標だけではなく、ユーザーの認知的ニーズ、推論プロセス、現実世界の経験に基づいて導かれるべきであると主張する、人間中心の説明可能なAI（XAI）のアプローチを提唱している。HCIと認知科学の知見を統合し、XAIツールの設計、評価、拡張をガイドする。主な役割は三つである：ユーザーのニーズによって技術的選択を駆動すること、既存手法の欠陥を明らかにすること、人間に対応する理論に基づいたフレームワークを構築すること。

ABSTRACT

In recent years, the field of explainable AI (XAI) has produced a vast collection of algorithms, providing a useful toolbox for researchers and practitioners to build XAI applications. With the rich application opportunities, explainability is believed to have moved beyond a demand by data scientists or researchers to comprehend the models they develop, to an essential requirement for people to trust and adopt AI deployed in numerous domains. However, explainability is an inherently human-centric property and the field is starting to embrace human-centered approaches. Human-computer interaction (HCI) research and user experience (UX) design in this area are becoming increasingly important. In this chapter, we begin with a high-level overview of the technical landscape of XAI algorithms, then selectively survey our own and other recent HCI works that take human-centered approaches to design, evaluate, and provide conceptual and methodological tools for XAI. We ask the question "what are human-centered approaches doing for XAI" and highlight three roles that they play in shaping XAI technologies by helping navigate, assess and expand the XAI toolbox: to drive technical choices by users' explainability needs, to uncover pitfalls of existing XAI methods and inform new methods, and to provide conceptual frameworks for human-compatible XAI.

研究の動機と目的

• 技術的XAIアルゴリズムと現実世界でのユーザー採用の間のギャップを埋めるために、説明可能性を人間のニーズと経験を中心に据えること。
• 人間とコンピュータのインタラクション（HCI）およびユーザー体験（UX）研究が、XAIシステムの開発と評価をどのように導けるかを特定すること。
• 実地のユーザー研究と認知理論を通じて、現在の技術的中心のXAIアプローチの限界を浮き彫りにすること。
• XAI手法をユーザーの推論目標、認知バイアス、情報探索行動に一致させるフレームワークを提言すること。
• より信頼できる、人間に対応するAIシステムを構築するため、AI、HCI、社会科学分野の間での協働を促すこと。

提案手法

• 最近のXAIアルゴリズムを調査し、局所的・グローバルな解釈可能性、対照的要因、アテンションベースの説明など、主な技術的カテゴリーを特定すること。
• 二重プロセス理論、 sense-making モデル（Dervin, 1998）、情報探索行動（Wilson, 1981）などの認知・行動理論を、XAI設計に活用すること。
• 人間の推論に関する概念的フレームワーク（例：Wang et al., 2019）を用い、XAI手法をユーザーの説明目的、因果的推論のタイプ、意思決定プロセスにマッピングすること。
• ユーザー固有の落とし穴を明らかにするために、実地の研究を実施またはレビューすること。具体的には、サリエンシー図の誤解や、局所的説明への過剰依存といった問題。
• 対話型モデルやインタラクティブな説明システム（例：Madumal et al., 2019）を統合し、ユーザー主導の動的説明プロセスを支援すること。
• タスクベースの使いやすさと認知的負荷の指標を含む、ユーザー中心の評価を通じてXAIシステムを評価するための方法論的ツールを提言すること。

実験結果

リサーチクエスチョン

• RQ1 人間中心のデザイン原則は、ユーザーの実際の説明可能性ニーズに基づいて、XAI技術の選定と開発をどのように導けるか？
• RQ2 現在のXAI手法が対応していない、主な認知的・行動的制限とは何か。UXデザインによってそれらをどのように是正できるか？
• RQ3 人間の推論と情報探索の理論的モデルを、XAIシステム設計の向上にどのように具体化できるか？
• RQ4 インタラクティブで対話的な説明システムは、ユーザーがAI意思決定を理解し、信頼するのをどのように支援できるか？
• RQ5 アルゴリズム的説明可能性と人間の理解のギャップを埋めるための、概念的および方法論的フレームワークは何か？

主な発見

• 説明可能性はモデルの内在的性質ではなく、ユーザーの認知状態、知識水準、説明を求める目的に依存する。
• 既存のXAI技術は、ユーザー固有の推論目標を十分に考慮せず、技術的に正確であっても誤解や効果のない説明を生じがちである。
• 実地研究により、ユーザーが頻繁にサリエンシー図やアテンションベースの説明を誤解していることが明らかになった。これにより、ユーザーに配慮した設計改善の必要性が浮き彫りになった。
• 二重プロセス理論や sense-making モデルといった認知科学の理論的フレームワークは、自然な人間の推論パターンに適合するXAIシステムの設計をガイドできる。
• 現在のXAIツールキットは広く利用可能であるが、人間中心の評価と設計実践との統合が不足しているため、現実世界での採用は限定的である。
• 人間中心のXAIは、単に説明を改善するのではなく、技術的正確性だけでなく、ユーザーの自立性、信頼、幸福度という観点から成功を再定義することを意味する。