[論文レビュー] The Who in Explainable AI: How AI Background Shapes Perceptions of AI Explanations

Upol Ehsan, Samir Passi+5 more|arXiv (Cornell University)|Jul 28, 2021

Explainable Artificial Intelligence (XAI)参考文献 123被引用数 14

ひとこと要約

本研究は、二つのグループ（AI専門家と非専門家）を対象とした混合研究手法を用い、AIの背景が説明可能AI（XAI）の説明に対する認識にどのように影響するかを調査している。両グループとも数値的説明に対して不当な信頼を示し、設計意図を超えて異なる説明タイプの価値を見いだしており、人間らしさのある説明とは何かについても異なる見解を示している。これは、ユーザーの信頼と解釈における顕著な格差を示しており、公平なXAI設計に挑戦するものである。

ABSTRACT

Explainability of AI systems is critical for users to take informed actions and hold systems accountable. While opening the opaque is important, understanding who opens the box can govern if the Human-AI interaction is effective. In this paper, we conduct a mixed-methods study of how two different groups of whos--people with and without a background in AI--perceive different types of AI explanations. These groups were chosen to look at how disparities in AI backgrounds can exacerbate the creator-consumer gap. We quantitatively share what the perceptions are along five dimensions: confidence, intelligence, understandability, second chance, and friendliness. Qualitatively, we highlight how the AI background influences each group's interpretations and elucidate why the differences might exist through the lenses of appropriation and cognitive heuristics. We find that (1) both groups had unwarranted faith in numbers, to different extents and for different reasons, (2) each group found explanatory values in different explanations that went beyond the usage we designed them for, and (3) each group had different requirements of what counts as humanlike explanations. Using our findings, we discuss potential negative consequences such as harmful manipulation of user trust and propose design interventions to mitigate them. By bringing conscious awareness to how and why AI backgrounds shape perceptions of potential creators and consumers in XAI, our work takes a formative step in advancing a pluralistic Human-centered Explainable AI discourse.

研究の動機と目的

• AIの背景を持つユーザーと持たないユーザーが、さまざまなタイプのAI説明をどのように認識するかを調査すること。
• XAIにおけるクリエイターとコンシューマーの間の格差を広げる可能性がある、信頼、理解可能性、人間らしさに関する認識の格差を特定すること。
• AI説明受容における異なる解釈パターンの背後にある認知的メカニズムと適応的メカニズムを解明すること。
• 操作のリスクを軽減し、公平で人間中心のXAIを促進する設計介入を支援すること。

提案手法

• AIの正式な背景を持つ者と持たない者を比較した混合研究を実施し、AI説明の認識を調査した。
• 信頼性、知能、理解可能性、二度目の機会、親しみやすさの5つの次元で、認識を定量的に測定した。
• 認知的ヒューリスティクスと適応行動を含め、AIの背景が解釈に与える影響を分析するための定性的データを収集した。
• テーマ分析を用いて定性的な反応を解釈し、認識の定量的差異を説明した。
• 元来の意図とは異なる用途でもテストできるように、説明を設計した（例：反事後的説明、LIME、SHAP）。
• 「人間らしさ」のある説明に対する期待の相違を分析し、それがユーザーの背景や信頼形成とどのように関連するかを分析した。

実験結果

リサーチクエスチョン

• RQ1 個人のAIの背景は、信頼性、知能、理解可能性、二度目の機会、親しみやすさの各次元におけるAI説明の質に対する認識にどのように影響するか？
• RQ2 AI専門家と非専門家がAI説明を解釈し、価値を見出す際の認知的メカニズムの違いは何か？
• RQ3 ユーザーはどの程度、説明を元来の設計意図を超えて使用するのか？その傾向は背景によってどのように異なるか？
• RQ4 ユーザーは「人間らしさ」のある説明をどのように定義するのか？AI専門家と非専門家との間でその定義はどのように異なるか？
• RQ5 AI説明に対する誤った信頼のリスクは何か？設計によってその有害な操作はどのように軽減できるか？

主な発見

• AI専門家と非専門家の両方が、数値的説明に対して不当な信頼を示したが、その理由は異なっていた。専門家は統計的厳密性を信頼したのに対し、非専門家は客観性の感じられる説明に依存した。
• 両グループとも、元来の設計意図を超えて異なる説明タイプに価値を見いだした。例えば、LIMEは限界があるものの、信頼構築の目的で使用された。
• AI専門家は技術的正確性と論理的一致性を重視したが、非専門家は直感的で物語的要素を含むフォーマットを好んだ。
• 非専門家は、自然言語を含む説明を、正確さがやや低い場合でも「親しみやすさ」や「知能がある」と感じた。
• 専門家はメソッドの透明性に欠ける説明に対してより懐疑的であり、説明の根拠に対する基準が高かった。
• 「人間らしさ」のある説明とは何かについて顕著な相違が見られ、非専門家は会話的なトーンを好んだ一方、専門家は論理的一致性を重視した。