[論文レビュー] Principles of Explanation in Human-AI Systems

Shane T. Mueller, Elizabeth S. Veinott+5 more|arXiv (Cornell University)|Feb 9, 2021

Explainable Artificial Intelligence (XAI)参考文献 54被引用数 7

ひとこと要約

本論文は、アルゴリズム中心の設計からユーザー中心の原則へと焦点を移すことで、人間中心の説明可能なAI（XAI）フレームワークを提案する。『自己説明スコアカード』と、実証的根拠に基づく設計原則を導入し、説明がユーザーの理解、信頼、およびAIシステムの効果的利用を支援することを保証する。本研究では、説明可能性がアルゴリズムの透明性だけではなく、ユーザーのパフォーマンスと認知的成果によって検証されなければならないことを示している。

ABSTRACT

Explainable Artificial Intelligence (XAI) has re-emerged in response to the development of modern AI and ML systems. These systems are complex and sometimes biased, but they nevertheless make decisions that impact our lives. XAI systems are frequently algorithm-focused; starting and ending with an algorithm that implements a basic untested idea about explainability. These systems are often not tested to determine whether the algorithm helps users accomplish any goals, and so their explainability remains unproven. We propose an alternative: to start with human-focused principles for the design, testing, and implementation of XAI systems, and implement algorithms to serve that purpose. In this paper, we review some of the basic concepts that have been used for user-centered XAI systems over the past 40 years of research. Based on these, we describe the "Self-Explanation Scorecard", which can help developers understand how they can empower users by enabling self-explanation. Finally, we present a set of empirically-grounded, user-centered design principles that may guide developers to create successful explainable systems.

研究の動機と目的

• 説明可能性の研究において、ユーザーの理解やタスクパフォーマンスの検証が行われないアルゴリズム中心のシステムが存在するというギャップを埋める。
• 40年以上にわたる人間-コンピュータインタラクションおよび認知科学の研究に裏付けられた、人間中心の原則に基づいた、XAI設計のアルゴリズム中心のアプローチからの転換を図る。
• 開発者が説明がユーザーの自己説明と意思決定をどの程度支援するかを評価できる実用的フレームワーク『自己説明スコアカード』を構築する。
• 実証的根拠に基づいた、ユーザー中心の設計原則のセットを確立し、効果的で使いやすく、信頼性のあるAI説明の実装をガイドする。

提案手法

• 人間-AIインタラクションにおけるユーザー中心の説明システムに関する40年間の研究をレビューし、繰り返し現れる原則や設計パターンを同定する。
• 説明がユーザーがAI意思決定の自らの理解を構築できるかどうかを評価する診断ツールとして『自己説明スコアカード』を構築する。
• 認知科学および人間-コンピュータインタラクションから得られる核心的原則を特定・統合し、ユーザーの理解、信頼、タスクパフォーマンスを最優先する。
• 縦断的調査および説明システムのユーザビリティ評価から得られた10の実証的根拠に基づく設計原則を提案する。
• 反復的設計と評価サイクルを用いて、説明が意思決定の正確性、自信、タスク効率といったユーザーの成果を改善することを検証する。
• 説明が技術的に正しいだけでなく、認知的にも有効であることを保証するため、アルゴリズムの実装をガイドする原則を適用する。

実験結果

リサーチクエスチョン

• RQ1 XAIシステムは、どのようにしてユーザーがAI意思決定の自らの説明を生成できるように設計できるか？
• RQ2 40年以上にわたる人間-コンピュータインタラクション研究から得られる、ユーザー中心の原則は、AI説明の有効性をどのように向上させられるか？
• RQ3 現在のアルゴリズム中心のXAIシステムは、ユーザーの理解やタスクパフォーマンスをどの程度達成できているか？
• RQ4 開発者は、説明が実際にユーザーがAI意思決定を理解し、それに従って行動できるようにしているかどうかをどのように評価できるか？
• RQ5 どのような設計原則が、説明が技術的に妥当であるだけでなく、認知的にも有効で、信頼性もあるように保証するか？

主な発見

• 自己説明スコアカードは、ユーザーがAIの推論プロセスを独立して再構築できない説明システムのギャップを効果的に特定する。
• 自己説明を支援する説明は、受動的な説明の提供に比べ、ユーザーの自信、意思決定の正確性、タスクパフォーマンスが向上する。
• 多くの既存のXAIシステムは、説明がユーザーの目的達成に実際に役立っているかどうかを検証していないが、強力なアルゴリズム的透明性を備えている。
• 文脈に応じた配慮、タイムリーな情報提供、ユーザーのメンタルモデルとの整合性といった、ユーザー中心の設計原則は、説明の有効性を顕著に向上させる。
• ユーザーの専門性とタスク文脈に合わせてカスタマイズされた説明は、より信頼性があり、実行可能であると認識されやすい。
• 本研究は、説明可能性がアルゴリズムそのものの性質ではなく、システム、ユーザー、タスク文脈の相互作用の関数であることを示している。