[论文解读] "Explanation" is Not a Technical Term: The Problem of Ambiguity in XAI

Leilani H. Gilpin, Andrew R. Paley+3 more|arXiv (Cornell University)|Jun 27, 2022

Explainable Artificial Intelligence (XAI)被引用 9

一句话总结

本文认为，XAI中的'解释'一词缺乏一致的技术定义，导致解释与实际功能脱节。为此，本文提出一种面向特定受众的功能性评估框架，采用忠实度、可解释性、准确性和详尽程度等指标，倡导建立'营养标签'系统以标准化评估，确保解释在不同用户和场景下切实履行其预期功能。

ABSTRACT

There is broad agreement that Artificial Intelligence (AI) systems, particularly those using Machine Learning (ML), should be able to "explain" their behavior. Unfortunately, there is little agreement as to what constitutes an "explanation." This has caused a disconnect between the explanations that systems produce in service of explainable Artificial Intelligence (XAI) and those explanations that users and other audiences actually need, which should be defined by the full spectrum of functional roles, audiences, and capabilities for explanation. In this paper, we explore the features of explanations and how to use those features in evaluating their utility. We focus on the requirements for explanations defined by their functional role, the knowledge states of users who are trying to understand them, and the availability of the information needed to generate them. Further, we discuss the risk of XAI enabling trust in systems without establishing their trustworthiness and define a critical next step for the field of XAI to establish metrics to guide and ground the utility of system-generated explanations.

研究动机与目标

• 识别XAI中的核心问题：缺乏对'解释'的共享技术定义，导致解释错位且无效。
• 论证当前XAI方法虽产生技术上有效的解释，却因功能角色与受众知识不匹配而无法满足用户需求。
• 提出从'一刀切'解释转向功能性模型，即根据解释的角色、受众和数据访问权限来评估解释。
• 倡导采用忠实度、可解释性、准确性及详尽程度等标准化指标，实现对解释的客观评估。
• 引入'解释营养标签'概念，使利益相关方可基于多项标准评估解释的可靠性与适用性。

提出的方法

• 提出解释的功能性视角，按其角色（如调试、交互、信心建立、责任归属）、受众（如开发者、用户、监管机构）及系统能力进行分类。
• 引入四个关键评估维度：可解释性（语言与格式）、准确性（与模型的一致性）、详尽程度（细节水平）和忠实度（解释对模型决策过程的反映程度）。
• 使用矩阵（表1）将目标受众与四维理想解释特征进行映射，表明不同角色需要不同类型的解释。
• 提出'解释营养标签'概念，即标准化的指标摘要，使利益相关方能够评估解释的质量与可信度。
• 强调解释必须具有演绎性且逻辑连贯，其主张应基于先前主张推导而来，方能有效且可信。
• 建议将忠实度量化，例如'85%忠实'，以提供对解释可靠性可衡量的信心。

实验结果

研究问题

• RQ1 '解释'在XAI语境中实际意味着什么？为何其模糊性对系统设计与用户信任构成问题？
• RQ2 功能角色（如调试、交互、信心建立）如何塑造有效解释的需求？
• RQ3 当前XAI方法在多大程度上产生技术上正确但功能上不适用于目标受众的解释？
• RQ4 如何在多样化的受众和使用场景下客观评估解释质量？
• RQ5 需要哪些指标与评估框架，才能确保解释既实用又可信，而非仅表面可信？

主要发现

• '解释'一词是'行李箱词'，具有多种口语化与技术性含义，导致生成的解释与用户需求普遍错位。
• 当前XAI方法如LIME、SHAP和显著性图常产生脆弱、易被欺骗且与底层模型决策过程不忠实的解释。
• 即使技术上正确的解释，也可能无法提供新见解，或对目标受众不可解释，尤其当受众缺乏领域或技术知识时。
• '解释营养标签'——汇总忠实度、可解释性、准确性和详尽程度的标准化摘要——可使用户与利益相关方能够基于多维度信息做出明智的信任决策。
• 研究发现，忠实度是关键但被严重低估的指标；例如，某方法可能85%忠实，意味着在15%的情况下无法反映模型的真实推理过程。
• 本文结论认为，XAI必须从将解释作为技术特性推广，转向基于功能角色、受众知识与可衡量指标的根基，以确保可信度，而非仅依赖表面信任。