[论文解读] Explaining Any ML Model? -- On Goals and Capabilities of XAI

Moritz Renftle, Holger Trittenbach+2 more|arXiv (Cornell University)|Jun 28, 2022

Explainable Artificial Intelligence (XAI)参考文献 28被引用 4

一句话总结

本文通过聚焦用户对机器学习模型的实际问题，重新定向XAI研究，指出当前XAI算法仅解决了一个核心问题：如何将复杂模型表示为可解释属性的简单函数。它揭示了两大关键挑战：模型近似与技术特征向人类可理解术语的转换，并主张未来XAI必须整体性地解决这两个问题，以满足现实世界的需求。

ABSTRACT

An increasing ubiquity of machine learning (ML) motivates research on algorithms to explain ML models and their predictions -- so-called eXplainable Artificial Intelligence (XAI). Despite many survey papers and discussions, the goals and capabilities of XAI algorithms are far from being well understood. We argue that this is because of a problematic reasoning scheme in XAI literature: XAI algorithms are said to complement ML models with desired properties, such as "interpretability", or "explainability". These properties are in turn assumed to contribute to a goal, like "trust" in an ML system. But most properties lack precise definitions and their relationship to such goals is far from obvious. The result is a reasoning scheme that obfuscates research results and leaves an important question unanswered: What can one expect from XAI algorithms? In this article, we clarify the goals and capabilities of XAI algorithms from a concrete perspective: that of their users. Explaining ML models is only necessary if users have questions about them. We show that users can ask diverse questions, but that only one of them can be answered by current XAI algorithms. Answering this core question can be trivial, difficult or even impossible, depending on the ML application. Based on these insights, we outline which capabilities policymakers, researchers and society can reasonably expect from XAI algorithms.

研究动机与目标

• 通过将关注点从‘可解释性’等抽象属性转向用户对机器学习模型提出的真实问题，澄清XAI算法的真实目标与能力。
• 识别现有XAI方法能够实际回答的用户问题，以反驳XAI文献中普遍存在的模糊且规范性的论述。
• 揭示当前XAI方法的局限性，即主要仅解决一个特定问题：通过可解释属性表示复杂模型。
• 强调XAI中的两个根本挑战——近似与转换——必须协同解决，才能实现有意义的进展。
• 通过将XAI的潜力建立在具体、以用户为中心的目标之上，引导政策制定者、研究人员和社会对XAI形成现实预期。

提出的方法

• 使用垃圾邮件检测用例，分析七种不同的用户关于机器学习模型的问题，按意图和复杂度进行分类。
• 识别出仅有一个问题——‘如何将复杂机器学习模型表示为可解释属性的简单函数？’——目前由XAI算法解决。
• 提出两个核心挑战：(1) 近似，即代理模型必须在保真度与简洁性之间取得平衡；(2) 转换，即将技术性模型特征（例如神经元激活）映射到人类可理解的概念（例如物体、形状）。
• 回顾现有XAI方法，如LIME、SHAP和积分梯度，作为近似技术；以及计算机视觉和自然语言处理中实现特征转换的方法。
• 提出未来XAI应整合近似与转换，以神经符号方法（如神经原型树）为例。
• 采用以用户为中心的视角，将XAI重新定义为回答具体、可操作问题的技术问题，而非对抽象属性的追求。

实验结果

研究问题

• RQ1 用户实际提出哪些关于机器学习模型的问题？这些问题是如何与XAI目标相关的？
• RQ2 现有XAI算法能够现实地回答这些用户问题中的哪些？
• RQ3 限制XAI算法有效回答用户问题的根本技术挑战是什么？
• RQ4 现有XAI方法在多大程度上能同时解决近似与转换挑战？
• RQ5 如何重新定向XAI研究，使其与现实用户需求保持一致，而非追求规范性或模糊定义的属性（如‘可解释性’）？

主要发现

• 仅有一个用户问题——‘如何将复杂机器学习模型表示为可解释属性的简单函数？’——目前由XAI算法解决。
• XAI的两大主要挑战是近似（平衡代理模型的保真度与简洁性）与转换（将技术特征映射到人类可理解的概念）。
• 现有XAI方法如LIME、SHAP和积分梯度主要解决近似挑战，但通常无法解决转换挑战。
• 转换研究尚未充分展开；虽存在将卷积神经网络中的神经元激活与视觉概念（如形状、物体）关联的方法，但这些方法通常需要大规模标注数据集。
• 同时解决近似与转换仍是开放挑战，尤其在视觉、自然语言处理和物理过程建模等多模态领域。
• 神经符号AI方法（如神经原型树）通过结合神经网络学习与符号化解释，为整合解决方案提供了有前景的路径。