[论文解读] Human-Centered Explainable AI (XAI): From Algorithms to User Experiences

Q. Vera Liao, Kush R. Varshney|arXiv (Cornell University)|Oct 20, 2021

Explainable Artificial Intelligence (XAI)参考文献 98被引用 16

一句话总结

本文倡导一种以人为本的可解释人工智能（XAI）方法，认为可解释性必须以用户认知需求、推理过程和现实世界经验为导向，而不仅仅是依赖技术指标。该研究综合人机交互（HCI）与认知科学的洞见，指导XAI工具的设计、评估与拓展，强调三大角色：通过用户需求驱动技术选择，揭示现有方法的缺陷，并构建基于理论的、面向人类的XAI框架。

ABSTRACT

In recent years, the field of explainable AI (XAI) has produced a vast collection of algorithms, providing a useful toolbox for researchers and practitioners to build XAI applications. With the rich application opportunities, explainability is believed to have moved beyond a demand by data scientists or researchers to comprehend the models they develop, to an essential requirement for people to trust and adopt AI deployed in numerous domains. However, explainability is an inherently human-centric property and the field is starting to embrace human-centered approaches. Human-computer interaction (HCI) research and user experience (UX) design in this area are becoming increasingly important. In this chapter, we begin with a high-level overview of the technical landscape of XAI algorithms, then selectively survey our own and other recent HCI works that take human-centered approaches to design, evaluate, and provide conceptual and methodological tools for XAI. We ask the question "what are human-centered approaches doing for XAI" and highlight three roles that they play in shaping XAI technologies by helping navigate, assess and expand the XAI toolbox: to drive technical choices by users' explainability needs, to uncover pitfalls of existing XAI methods and inform new methods, and to provide conceptual frameworks for human-compatible XAI.

研究动机与目标

• 为弥合技术XAI算法与真实世界用户采纳之间的鸿沟，将可解释性聚焦于人类需求与经验。
• 识别人机交互（HCI）与用户体验（UX）研究如何指导XAI系统的开发与评估。
• 通过实证用户研究与认知理论，揭示当前以技术为中心的XAI方法的局限性。
• 提出一个框架，将XAI方法与用户推理目标、认知偏见及信息寻求行为相匹配。
• 鼓励AI、HCI与社会科学之间的跨学科合作，以构建更可信、更符合人类特性的AI系统。

提出的方法

• 调研近期的XAI算法，识别关键技术类别，包括局部与全局可解释性、反事实解释以及基于注意力的解释。
• 应用认知与行为理论（如双过程理论、情境感知模型（Dervin, 1998）、信息寻求行为（Wilson, 1981））以指导XAI设计。
• 利用人类推理的理论框架（如Wang et al., 2019）将XAI方法映射至用户解释目标、因果推理类型与决策过程。
• 开展或回顾实证研究，揭示现有XAI方法在用户层面的常见问题，如对显著性图的误解或过度依赖局部解释。
• 整合对话模型与交互式解释系统（如Madumal et al., 2019），以支持动态、用户主导的解释过程。
• 提出方法论工具，供设计者通过以用户为中心的评估方法评估XAI系统，包括基于任务的可用性与认知负荷指标。

实验结果

研究问题

• RQ1 以人为本的设计原则如何基于用户的实际可解释性需求，指导XAI技术的选择与开发？
• RQ2 当前XAI方法未能解决的关键认知与行为局限是什么？如何通过UX设计加以弥补？
• RQ3 人类推理与信息寻求的理论模型在何种方式下可被具体化，以改进XAI系统设计？
• RQ4 交互式与对话式解释系统如何提升用户对AI决策的理解与信任？
• RQ5 何种概念与方法论框架能够弥合算法可解释性与人类理解之间的差距，以实现真实世界AI应用中的有效理解？

主要发现

• 可解释性并非模型的固有属性，而是取决于用户认知状态、知识水平及其寻求解释的目的。
• 现有XAI技术常忽视用户特定的推理目标，即使在技术上正确，仍可能导致误解或无效解释。
• 实证研究表明，用户常误解显著性图与基于注意力的解释，凸显了以用户为导向的设计改进的必要性。
• 认知科学中的理论框架（如双过程理论与情境感知模型）可指导设计出符合自然人类推理模式的XAI系统。
• 当前XAI工具包虽广泛可用，但其在真实世界中的采纳仍有限，原因在于缺乏与以人为本的评估与设计实践的整合。
• 以人为本的XAI不仅关乎改进解释，更在于重新定义成功标准：以用户赋权、信任与福祉为核心，而非仅追求技术保真度。