[论文解读] Explanations based on the Missing: Towards Contrastive Explanations with Pertinent Negatives

Amit Dhurandhar, Pin‐Yu Chen+5 more|arXiv (Cornell University)|Feb 21, 2018

Explainable Artificial Intelligence (XAI)被引用 174

一句话总结

本论文提出对比解释方法（CEM），通过识别需存在的相关正向（pertinent positives）和需缺失的相关负向（pertinent negatives）来为神经网络的分类提供理由，并可选地借助自编码器提升真实感。

ABSTRACT

In this paper we propose a novel method that provides contrastive explanations justifying the classification of an input by a black box classifier such as a deep neural network. Given an input we find what should be %necessarily and minimally and sufficiently present (viz. important object pixels in an image) to justify its classification and analogously what should be minimally and necessarily \\emph{absent} (viz. certain background pixels). We argue that such explanations are natural for humans and are used commonly in domains such as health care and criminology. What is minimally but critically \\emph{absent} is an important part of an explanation, which to the best of our knowledge, has not been explicitly identified by current explanation methods that explain predictions of neural networks. We validate our approach on three real datasets obtained from diverse domains; namely, a handwritten digits dataset MNIST, a large procurement fraud dataset and a brain activity strength dataset. In all three cases, we witness the power of our approach in generating precise explanations that are also easy for human experts to understand and evaluate.

研究动机与目标

• 通过识别最小的存在/缺失特征来使分类结果可解释并且易于人类理解，从而实现对比性的解释。
• 定义并优化扰动以为给定输入生成相关正向（PP）和相关负向（PN）。
• 尽可能通过自编码器重构使解释贴近数据流形，从而提升解释质量。
• 在多样化领域（MNIST、采购欺诈、脑成像）验证该方法，并与现有方法如 LRP 和 LIME 进行比较。

提出的方法

• 将 PP 和 PN 表述为对输入扰动的优化问题。
• 使用类似铰链损失将扰动输入推向不同类别（PN）或保持同一主类别（PP）。
• 结合弹性网正则化（L1 和 L2 项）以实现稀疏性和稳定性。
• 可选地通过自编码器重构损失将扰动约束在数据流形附近。
• 使用投影 FISTA 解决以高效处理 L1 正则化。

实验结果

研究问题

• RQ1 我们是否可以生成针对具体实例的对比性解释，指定给定预测中最小的存在和缺失特征？
• RQ2 相关正向和相关负向是否比现有方法提供更直观且更符合人类理解的解释？
• RQ3 与 LRP 和 LIME 相比，CEM 在图像和非图像领域（MNIST、采购欺诈、fMRI）上的表现如何？
• RQ4 通过自编码器强制靠近数据流形是否能提升解释质量？

主要发现

• CEM 通过突出必须存在的特征和必须缺失的特征来对分类给出可解释的解释。
• 在 MNIST 上，CEM 的解释（有自编码器和无自编码器两种）比 LRP/LIME 更可解释，自编码器有助于清晰度。
• 在采购欺诈数据中，PP/PN 的解释与专家判断高度一致，优于作为代理的竞争方法。
• 在 ABIDE fMRI 数据中，CEM 识别出与已知自闭症连接性改变相符的网络层面和区域层面的模式，且在识别相关正向方面优于 LRP。
• 对三组数据集的定量评估显示，作为单独输入测试时，PP/PN 的扰动在保持原有类别或改变类别方面的有效性达到 100%。