[论文解读] How Human-Centered Explainable AI Interface Are Designed and Evaluated: A Systematic Survey

Thu Nguyen, Alessandro Canossa+1 more|arXiv (Cornell University)|Mar 21, 2024

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本篇系统性综述分析了53项关于以人为本的可解释人工智能（XAI）界面（EIs）的研究，识别出提升可用性、可解释性及用户效能的设计与评估实践。研究揭示了用户参与、界面设计（例如，顺序信息结构、指导性交互）以及评估方法的关键趋势，同时提出一个生成式框架，通过尚未充分探索的设计组合，为未来EI开发提供指导。

ABSTRACT

Despite its technological breakthroughs, eXplainable Artificial Intelligence (XAI) research has limited success in producing the {\em effective explanations} needed by users. In order to improve XAI systems' usability, practical interpretability, and efficacy for real users, the emerging area of {\em Explainable Interfaces} (EIs) focuses on the user interface and user experience design aspects of XAI. This paper presents a systematic survey of 53 publications to identify current trends in human-XAI interaction and promising directions for EI design and development. This is among the first systematic survey of EI research.

研究动机与目标

• 弥合XAI研究中技术可解释性超越用户可用性与实际可解释性的差距。
• 探究以人为本的设计原则在XAI用户界面（EIs）中的应用，以提升现实世界中的可用性。
• 通过系统性回顾实证研究，识别当前EIs设计与评估的实践方法及有前景的发展方向。
• 通过分析尚未充分探索的设计组合与以用户为中心的评估方法，提出一个结构化框架，以指导未来EI的开发。

提出的方法

• 采用PRISMA指南进行系统性文献综述，识别并分析53篇关于可解释界面（EIs）的出版物。
• 根据用户参与度（例如，用户研究、人物角色、任务建模）、界面设计（例如，信息结构、交互类型、交互性）以及评估方法对研究进行分类。
• 应用聚类分析，按设计与评估模式对研究进行分组，揭示界面属性的主导组合与未充分探索的组合。
• 使用包含八个设计与评估属性（例如，信息结构、交互类型、交互性）的框架，系统性地映射当前EI研究的现状。
• 审查报告的用户参与实践，包括定性方法如人物角色与任务建模，并评估这些方法如何影响设计决策。
• 通过识别未被代表的属性组合（例如，静态交互性与层级结构）作为未来EI创新的机遇，提出一个生成式框架。

实验结果

研究问题

• RQ1 RQ1：研究人员在XAI应用的设计与开发过程中，如何参与人类用户？
• RQ2 RQ2：XAI研究人员在结构、格式与交互方面如何设计EIs？
• RQ3 RQ3：XAI研究人员在实践中如何评估EIs？
• RQ4 RQ4：EIs设计属性的主导组合与未充分探索的组合是什么？
• RQ5 RQ5：研究发现如何为未来更高效、更以用户为中心的EIs设计提供指导？

主要发现

• 大多数EI研究（超过60%）采用顺序信息结构，而层级结构极为罕见，表明存在设计失衡。
• 指导性交互类型占主导地位（多数研究），而对话式或探索式交互模式则使用不足。
• 仅少数研究（不足10%）实现了静态交互性与层级信息架构的结合，表明存在显著的设计缺口。
• 用户参与通常局限于非正式反馈或事后评估；很少有研究在早期设计阶段使用结构化方法如人物角色或任务建模。
• 评估方法主要为定量方法，聚焦于信任或准确性，对可解释性的定性或纵向评估使用有限。
• 分析显示，尚无研究将静态交互性与层级信息架构相结合，表明这可能是未来EI创新的潜在机遇。