[论文解读] Explainable AI without Interpretable Model

Kary Främling|arXiv (Cornell University)|Sep 29, 2020

Explainable Artificial Intelligence (XAI)参考文献 11被引用 8

一句话总结

本文提出上下文重要性与效用（CIU），一种无需依赖可解释代理模型的、与模型无关的生成黑箱AI决策人类化解释的方法。CIU以情境特定的方式计算特征重要性和效用，从而在不同抽象层次和词汇体系下实现灵活、准确且可适应用户需求的解释。

ABSTRACT

Explainability has been a challenge in AI for as long as AI has existed. With the recently increased use of AI in society, it has become more important than ever that AI systems would be able to explain the reasoning behind their results also to end-users in situations such as being eliminated from a recruitment process or having a bank loan application refused by an AI system. Especially if the AI system has been trained using Machine Learning, it tends to contain too many parameters for them to be analysed and understood, which has caused them to be called `black-box' systems. Most Explainable AI (XAI) methods are based on extracting an interpretable model that can be used for producing explanations. However, the interpretable model does not necessarily map accurately to the original black-box model. Furthermore, the understandability of interpretable models for an end-user remains questionable. The notions of Contextual Importance and Utility (CIU) presented in this paper make it possible to produce human-like explanations of black-box outcomes directly, without creating an interpretable model. Therefore, CIU explanations map accurately to the black-box model itself. CIU is completely model-agnostic and can be used with any black-box system. In addition to feature importance, the utility concept that is well-known in Decision Theory provides a new dimension to explanations compared to most existing XAI methods. Finally, CIU can produce explanations at any level of abstraction and using different vocabularies and other means of interaction, which makes it possible to adjust explanations and interaction according to the context and to the target users.

研究动机与目标

• 解决现有XAI方法依赖可解释代理模型的局限性，这些模型可能无法忠实反映原始黑箱模型。
• 通过基于决策理论和认知科学原则，提升非专家终端用户的可解释性。
• 实现情境敏感的、类人的解释，能够根据用户专业知识、领域背景和交互偏好进行自适应调整。
• 提供一个统一框架，以反映现实世界决策动态的方式解释特征重要性与效用。
• 建立一类新型XAI方法，独立于模型架构，且无需牺牲模型保真度。

提出的方法

• CIU通过在输入扰动上使用蒙特卡洛采样，测量某一特征值在其他特征条件下的变化对模型输出的影响，来计算上下文重要性（CI）。
• 上下文效用（CU）通过模型在输入分布上的响应，量化特定输入值对实现期望结果的有利程度。
• 该方法与模型无关，可直接作用于任何训练好的黑箱模型，无需架构修改。
• 引入中间概念以对特征进行分组（例如，将'花瓣长度'和'花瓣宽度'合并为'花瓣大小和形状'），以支持更高层次的抽象解释。
• 通过条形图和可视化展示CI和CU值生成解释，使用颜色编码（红/绿）表示负面影响或正面影响。
• 该方法仅包含一个可调参数：扰动集 S(𝑣𝐶, {𝑖}) 中的样本数量，未来工作可实现自动调节。

实验结果

研究问题

• RQ1 是否可以不依赖可解释代理模型，生成黑箱AI决策的解释？
• RQ2 如何以情境依赖的方式计算特征重要性与效用，以反映现实世界的决策过程？
• RQ3 是否可以在不重新训练模型的前提下，将解释适应不同用户情境、词汇体系和抽象层次？
• RQ4 CIU解释的保真度与基于代理模型的XAI方法相比如何？
• RQ5 CIU能否用于评估不同黑箱模型的可信度与可信性？

主要发现

• CIU在无需使用任何代理模型的情况下，成功为Iris和Boston Housing数据集生成了准确且情境敏感的解释。
• 在Iris数据集中，CIU正确识别出'花瓣长度'和'花瓣宽度'是分类Virginica的关键特征，CI值高达0.638，CU值为0.995。
• 在Boston Housing数据集中，CIU识别出'LSTAT'和'RM'分别是导致低房价和高房价的主要因素，对于最高价值样本，其CI值分别为0.895和0.927。
• CIU解释在多次运行中保持一致，并能反映不同底层模型（如梯度提升与神经网络）的差异，表现出对模型的敏感性。
• 通过使用'花瓣大小和形状'等中间概念，生成了更直观、符合人类阅读习惯的解释，与领域特定推理一致。
• CIU条形图清晰显示，有利的输入值（高CU）与期望结果（如Boston Housing中的高'medv'）相关联，支持基于效用的解释。