[論文レビュー] Invisible Users: Uncovering End-Users' Requirements for Explainable AI via Explanation Forms and Goals

Weina Jin, Jianyu Fan+3 more|arXiv (Cornell University)|Feb 10, 2023

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本論文は、説明可能AI（XAI）の非技術的エンドユーザーの要件を明らかにするためのフレームワークとして、エンドユーザーフレンドリーな説明形式と説明目標を導入する。4つのハイリスクタスクにおいて32名の一般参加者を対象とした混合手法によるユーザースタディを通じて、特徴量・例・ルールに基づく説明の具体的なユーザー要件と、信頼の補正やバイアス検出といった10の主要な説明目標を同定した。これらの知見が、ユーザー中心のXAI技術の設計および評価に直接的かつ具体的に寄与することを示している。

ABSTRACT

Non-technical end-users are silent and invisible users of the state-of-the-art explainable artificial intelligence (XAI) technologies. Their demands and requirements for AI explainability are not incorporated into the design and evaluation of XAI techniques, which are developed to explain the rationales of AI decisions to end-users and assist their critical decisions. This makes XAI techniques ineffective or even harmful in high-stakes applications, such as healthcare, criminal justice, finance, and autonomous driving systems. To systematically understand end-users' requirements to support the technical development of XAI, we conducted the EUCA user study with 32 layperson participants in four AI-assisted critical tasks. The study identified comprehensive user requirements for feature-, example-, and rule-based XAI techniques (manifested by the end-user-friendly explanation forms) and XAI evaluation objectives (manifested by the explanation goals), which were shown to be helpful to directly inspire the proposal of new XAI algorithms and evaluation metrics. The EUCA study findings, the identified explanation forms and goals for technical specification, and the EUCA study dataset support the design and evaluation of end-user-centered XAI techniques for accessible, safe, and accountable AI.

研究の動機と目的

• 説明可能AI（XAI）開発においてしばしば無視されがちな、非技術的エンドユーザーの要件を理解するというギャップを埋める。
• XAIシステムとエンドユーザーの間の技術的コミュニケーション障壁を解消するため、エンドユーザーフレンドリーな説明形式をブリッジとして導入する。
• ハイリスク意思決定文脈におけるエンドユーザーがAIの説明を求める動機となる多様な説明目標を特定・分類する。
• エンドユーザー要件を技術的仕様および評価指標に結びつけることで、XAI開発者に実行可能なインサイトを提供する。
• 実証的ユーザースタディデータに裏付けられたユーザー中心設計を通じて、アクセス可能で安全かつ説明責任のあるAIシステムの構築を支援する。

提案手法

• 特徴量・例・ルールに基づく形式に分類された、XAI技術の抽象的でユーザー向けの表現としての「エンドユーザーフレンドリーな説明形式」を提案する。
• 医療診断、刑事司法、ローン承認、自律走行の4つのAI支援型重要なタスクを対象とした、32名の一般参加者を対象とした混合手法ユーザースタディ（EUCA）を設計する。
• シナリオベースのタスクを通じて、使いやすさ、信頼性、意思決定支援の観点から、説明形式および目標に関する定性的フィードバックを収集する。
• エンドユーザーが説明を求める動機となる10の核心的説明目標（信頼の補正、バイアス検出、ステークホルダー間のコミュニケーションなど）を同定する。
• スタディの結果を基に、エンドユーザーのニーズに整合した新しいXAIアルゴリズムの技術的仕様および評価指標を生成する。
• 再現可能性を促進し、今後のユーザー中心XAI研究を支援するため、EUCAスタディのデータセットおよび関連資料を公開する。

実験結果

リサーチクエスチョン

• RQ1 非技術的エンドユーザーは、ハイリスクのAI支援タスクにおいて、特徴量・例・ルールに基づくどの種類の説明形式を最も有用かつ理解しやすいと感じるか？
• RQ2 エンドユーザーがAIの説明を求める主な説明目標は何か？ また、異なるアプリケーション分野においてその目標はどのように変化するか？
• RQ3 エンドユーザーは意思決定を行う際に、異なる説明形式をどのように比較・対比し、どのような要因が好みに影響を与えるか？
• RQ4 既存のXAI技術はエンドユーザーの実際のニーズをどの程度満たしているのか？ また、どのような点で不足しているか？
• RQ5 エンドユーザーのXAI要件を、新しいXAIアルゴリズムおよび評価指標の技術的仕様に体系的かつ効果的に変換するにはどうすればよいか？

主な発見

• エンドユーザーは、医療および金融意思決定タスクにおいて、明確さと信頼の補正の観点から、特徴量の寄与度よりも例に基づく説明（類似例、対照的例、典型的例など）を一貫して好んでいた。
• 最も頻繁に挙げられた説明目標は「信頼の補正」であり、ユーザーはAIの意思決定が自らの判断や分野知識と一致しているかを検証するために説明を求めた。
• 特に刑事司法や医療分野のようなハイリスク分野において、モデルバイアスの検出を支援する説明への強いニーズが示された。
• ユーザーは、解釈が難しく技術的に複雑な特徴量ベースの説明（例：セマンティックマップ）に対して理解不能さや混乱を抱えやすく、信頼を失いがちだった。
• 本研究では、「ユーザーとAIの間の合意不一致の解消」と「予測結果の改善」といった説明目標が、ユーザーの関与度および意思決定の自信に極めて重要であることが明らかになった。
• EUCAデータセットおよび研究結果は、エンドユーザーのニーズに適合した新しいXAI評価指標およびアルゴリズムの開発の基盤を提供し、安全性が求められるシステムにおける実世界の導入に直接的な影響を持つ。