[論文レビュー] Human-centered Explainable AI: Towards a Reflective Sociotechnical Approach

Upol Ehsan, Mark Riedl|arXiv (Cornell University)|Feb 3, 2020

Ethics and Social Impacts of AI被引用数 4

ひとこと要約

本論文は、人間の価値観、人間関係的ダイナミクス、社会的文脈をAI説明設計に中心に据える、人間中心の説明可能AI（HCXAI）を紹介する。批判的技術的実践（Critical Technical Practice）と、参加型設計や価値感受性設計といったHCI戦略を統合することで、技術的説明システムと人間要因の知見が共進化する仕組みを実現し、非専門家ユーザー向けの根拠生成の事例研究によってその有効性が示された。

ABSTRACT

Explanations--a form of post-hoc interpretability--play an instrumental role in making systems accessible as AI continues to proliferate complex and sensitive sociotechnical systems. In this paper, we introduce Human-centered Explainable AI (HCXAI) as an approach that puts the human at the center of technology design. It develops a holistic understanding of "who" the human is by considering the interplay of values, interpersonal dynamics, and the socially situated nature of AI systems. In particular, we advocate for a reflective sociotechnical approach. We illustrate HCXAI through a case study of an explanation system for non-technical end-users that shows how technical advancements and the understanding of human factors co-evolve. Building on the case study, we lay out open research questions pertaining to further refining our understanding of "who" the human is and extending beyond 1-to-1 human-computer interactions. Finally, we propose that a reflective HCXAI paradigm-mediated through the perspective of Critical Technical Practice and supplemented with strategies from HCI, such as value-sensitive design and participatory design--not only helps us understand our intellectual blind spots, but it can also open up new design and research spaces.

研究の動機と目的

• 説明可能AI（XAI）における包括的で人間中心の設計の欠如に応えるため、AIシステム開発において人間を再中心に据える。
• '誰に説明可能か？'という問いがXAIの核心であることを認識し、ユーザーの価値観、社会的役割、人間関係的ダイナミクスを深く理解する必要がある。
• 技術的解釈可能性を越えて、社会技術的反映をAI設計に組み込むことで、隠れたバイアスや認識論的盲点を明らかにする。
• 批判的技術的実践と参加型設計・価値感受性設計を統合した、反映的HCXAIパラダイムを提唱し、倫理的で民主的かつ文脈に配慮したAIシステムの実現を促進する。
• XAIの評価において、受容性から批判的反省へのシフトを提言し、受動的な信頼ではなく、懐疑心と価値の整合性を重視する。

提案手法

• 技術的説明システムの開発と継続的な人間要因分析を統合する、反映的・社会技術的アプローチを採用する。
• 自然言語による根拠生成——人間の推論を模倣する説明——を実装し、非専門家ユーザーがAI意思決定を理解できるようにする。
• 参加型設計（PD）を用いて、エンドユーザーとステークホルダーを説明システムの共同開発に参加させ、民主的で平等なパワー・ダイナミクスを確保する。
• Envisioning Cardsなどのツールを用いた価値感受性設計（VSD）を適用し、ステークホルダー間の価値的対立（例：放射線科医、管理者、保険会社）を明らかにする。
• 批判的技術的実践（CTP）を用いて、XAIにおける支配的メタファーと仮定を検証し、設計選択に対する批判的反省を可能にする。
• 繰り返しの事例研究を通じて、ユーザーの認識から得られる知見がシステムの改善に反映され、逆にシステムの進化が人間理解を高めるという、技術的システムと人間理解の共進化を実現する。

実験結果

リサーチクエスチョン

• RQ1 技術的役割を超えて、AIシステムにおける『誰』であるかを包括的に理解するにはどうすればよいか？ その理解が説明設計にどう影響するか？
• RQ2 XAIにおいて、技術的説明システムと人間中心の知見が共進化するための設計戦略は何か？
• RQ3 受容性だけでなく、批判的反省や懐疑心を喚起するという観点から、説明をどのように評価すべきか？
• RQ4 価値観、パワー・ダイナミクス、社会的文脈は、効果的で倫理的なAI説明を形成する上で果たす役割は何か？
• RQ5 参加型設計および価値感受性設計の実務的実装方法は、XAIにおいてステークホルダーの整合性と倫理的透明性を確保するためにどう活用できるか？

主な発見

• 技術的説明システムと人間要因の理解の共進化は、現実のユーザーのニーズを反映する、より豊かで文脈に配慮した説明を生み出す。
• 根拠生成は、非専門家ユーザーに対してAI意思決定を効果的に説明でき、透明性と信頼性の向上に寄与する。
• CTPのような反映的実践は、AI設計における隠れた価値観やバイアスを明らかにし、より倫理的で説明責任のあるシステムを実現する手助けとなる。
• 参加型設計は、XAI開発におけるデザイナーとエンドユーザー間のパワー・ギャップを低減し、民主的参加を促進する。
• Envisioning Cardsを用いた価値感受性設計は、ステークホルダー間の対立（例：放射線科医と保険会社）を明らかにし、XAIシステムにおける価値の整合性の重要性を浮き彫りにする。
• 受容性ではなく反省を評価の基準とすることで、高リスク分野において受動的信頼を優先するのではなく、批判的思考を重視するというXAIの根本的な課題が明らかになる。