[论文解读] Principles of Explanation in Human-AI Systems

Shane T. Mueller, Elizabeth S. Veinott+5 more|arXiv (Cornell University)|Feb 9, 2021

Explainable Artificial Intelligence (XAI)参考文献 54被引用 7

一句话总结

本文通过将重点从以算法为中心的设计转向以用户为中心的原则，提出了一套以人为本的可解释人工智能（XAI）框架。它引入了‘自我解释评分卡’和基于实证的设计原则，以确保解释能够帮助用户理解、信任并有效使用AI系统——并证明可解释性必须通过用户表现和认知结果来验证，而不仅仅是算法透明度。

ABSTRACT

Explainable Artificial Intelligence (XAI) has re-emerged in response to the development of modern AI and ML systems. These systems are complex and sometimes biased, but they nevertheless make decisions that impact our lives. XAI systems are frequently algorithm-focused; starting and ending with an algorithm that implements a basic untested idea about explainability. These systems are often not tested to determine whether the algorithm helps users accomplish any goals, and so their explainability remains unproven. We propose an alternative: to start with human-focused principles for the design, testing, and implementation of XAI systems, and implement algorithms to serve that purpose. In this paper, we review some of the basic concepts that have been used for user-centered XAI systems over the past 40 years of research. Based on these, we describe the "Self-Explanation Scorecard", which can help developers understand how they can empower users by enabling self-explanation. Finally, we present a set of empirically-grounded, user-centered design principles that may guide developers to create successful explainable systems.

研究动机与目标

• 解决XAI研究中系统以算法为中心、却未验证用户理解程度或任务表现的缺口。
• 将XAI设计从以算法为中心的方法，转向基于数十年人机交互与认知科学研究的人本原则。
• 开发一个实用框架——‘自我解释评分卡’——使开发者能够评估解释在多大程度上支持用户的自我解释与决策。
• 建立一套基于实证、以用户为中心的设计原则，指导有效、可用且可信的AI解释实现。

提出的方法

• 回顾过去40年人机交互中以用户为中心的解释系统研究，识别重复出现的原则与设计模式。
• 开发‘自我解释评分卡’作为诊断工具，评估解释是否使用户能够自主构建对AI决策的理解。
• 识别并综合认知科学与人机交互中的核心原则，优先考虑用户理解、信任与任务表现。
• 基于长期研究与解释系统可用性评估，提出10项基于实证的设计原则。
• 通过迭代设计与评估循环，验证解释是否提升了用户表现，如决策准确性、信心水平与任务效率。
• 应用这些原则指导算法实现，确保解释不仅技术正确，而且在认知层面有效。

实验结果

研究问题

• RQ1 XAI系统如何设计才能支持用户自主生成对AI决策的解释？
• RQ2 如何利用数十年人机交互研究中积累的以用户为中心的原则，提升AI解释的有效性？
• RQ3 当前以算法为中心的XAI系统在多大程度上成功实现了用户理解与任务表现的提升？
• RQ4 开发者如何评估一种解释是否真正赋能用户理解并据此采取行动？
• RQ5 哪些设计原则能确保解释不仅技术上合理，而且在认知层面有效且可信？

主要发现

• 自我解释评分卡能有效识别出解释系统中用户无法独立重构AI推理过程的缺陷。
• 支持自我解释的解释相比被动传递解释，能显著提升用户信心、决策准确率与任务表现。
• 许多现有XAI系统尽管具备强大的算法透明度，却未能验证解释是否真正帮助用户达成目标。
• 以用户为中心的设计原则——如情境感知、适时信息提供、与用户心智模型对齐——显著增强了解释的有效性。
• 针对用户专业水平与任务情境定制的解释，更可能被感知为可信且可操作。
• 本研究证明，可解释性并非算法本身的属性，而是系统、用户与任务情境之间交互的函数。