[论文解读] Human-centered Explainable AI: Towards a Reflective Sociotechnical Approach

Upol Ehsan, Mark Riedl|arXiv (Cornell University)|Feb 3, 2020

Ethics and Social Impacts of AI被引用 4

一句话总结

本文提出以人为本的可解释人工智能（HCXAI），这是一种反思性的社会技术方法，将人类价值观、人际互动和社交背景置于人工智能解释设计的核心。通过整合批判性技术实践（Critical Technical Practice）与人机交互（HCI）策略（如参与式设计和价值敏感设计），HCXAI 实现了技术解释系统与人类因素洞察的共同演化，如在非专家用户的情境推理生成案例研究中所展示的那样。

ABSTRACT

Explanations--a form of post-hoc interpretability--play an instrumental role in making systems accessible as AI continues to proliferate complex and sensitive sociotechnical systems. In this paper, we introduce Human-centered Explainable AI (HCXAI) as an approach that puts the human at the center of technology design. It develops a holistic understanding of "who" the human is by considering the interplay of values, interpersonal dynamics, and the socially situated nature of AI systems. In particular, we advocate for a reflective sociotechnical approach. We illustrate HCXAI through a case study of an explanation system for non-technical end-users that shows how technical advancements and the understanding of human factors co-evolve. Building on the case study, we lay out open research questions pertaining to further refining our understanding of "who" the human is and extending beyond 1-to-1 human-computer interactions. Finally, we propose that a reflective HCXAI paradigm-mediated through the perspective of Critical Technical Practice and supplemented with strategies from HCI, such as value-sensitive design and participatory design--not only helps us understand our intellectual blind spots, but it can also open up new design and research spaces.

研究动机与目标

• 通过将人类重新置于人工智能系统开发的核心，解决当前可解释人工智能（XAI）中缺乏整体性以人为本设计的问题。
• 认识到‘向谁解释？’是XAI的核心问题，需要深入理解用户的价值观、社会角色与人际互动动态。
• 超越技术可解释性，将社会技术反思融入人工智能设计，以揭示隐性偏见与认识论盲区。
• 提出一种反思性的HCXAI范式，结合批判性技术实践与参与式设计、价值敏感设计，以促进伦理、民主且情境感知的人工智能系统。
• 呼吁将XAI评估从用户接受度转向批判性反思，强调怀疑精神与价值对齐，而非被动信任。

提出的方法

• 采用一种反思性的社会技术方法，将解释系统的技术开发与持续的人因因素分析相结合。
• 实施情境推理生成——通过自然语言解释模拟人类推理过程——以使非专家用户能够理解人工智能决策。
• 采用参与式设计（PD）让最终用户与利益相关者共同参与解释系统的设计，确保民主化权力结构。
• 应用价值敏感设计（VSD），使用如‘愿景卡片’等工具，揭示利益相关者（如放射科医生、管理人员、保险公司）之间的价值张力。
• 运用批判性技术实践（CTP）来质疑XAI中占主导地位的隐喻与假设，从而实现对设计选择的批判性反思。
• 通过迭代式案例研究，实现技术系统与人类理解的共同演化，使用户感知的洞察反哺系统优化，反之亦然。

实验结果

研究问题

• RQ1 我们如何超越技术角色，全面理解AI系统中‘人类’是谁，以指导解释设计？
• RQ2 哪些设计策略能够实现XAI中技术解释系统与以人为本洞察的共同演化？
• RQ3 我们如何评估解释，不仅关注接受度，更关注其是否促进批判性反思与怀疑精神？
• RQ4 价值观、权力动态与社会背景在塑造有效且合乎伦理的AI解释中发挥何种作用？
• RQ5 如何在XAI中具体实施参与式设计与价值敏感设计实践，以确保利益相关者对齐与伦理透明？

主要发现

• 技术解释系统与人因因素理解的共同演化，产生了更丰富、更具情境感知的解释，真实反映了用户需求。
• 情境推理生成有效传达了AI决策给非专家用户，提升了感知透明度与可信度。
• 反思性实践（如CTP）有助于揭示AI设计中的隐性价值观与偏见，使系统更具伦理性和可问责性。
• 参与式设计促进了民主化参与，减少了XAI开发中设计者与最终用户之间的权力失衡。
• 使用‘愿景卡片’的价值敏感设计揭示了利益相关者之间的张力（如放射科医生与保险公司之间），凸显了XAI系统中价值对齐的必要性。
• 评估反思能力而非接受度，揭示了XAI中的深层挑战，例如在高风险领域优先考虑批判性思维而非被动信任。