[论文解读] Generating Contrastive Explanations with Monotonic Attribute Functions.

Ronny Luss, Pin‐Yu Chen+4 more|arXiv (Cornell University)|May 29, 2019

Explainable Artificial Intelligence (XAI)参考文献 2被引用 37

一句话总结

本文提出了一种在深度学习中生成对比解释的新型方法，通过在图像等丰富数据中形式化定义视觉属性的'添加'，能够识别出充分特征以及会改变模型预测的变更。该方法在三个不同图像数据集上的用户可解释性和定量指标方面均优于当前最先进方法。

ABSTRACT

Explaining decisions of deep neural networks is a hot research topic with applications in medical imaging, video surveillance, and self driving cars. Many methods have been proposed in literature to explain these decisions by identifying relevance of different pixels, limiting the types of explanations possible. In this paper, we propose a method that can generate contrastive explanations for such data where we not only highlight aspects that are in themselves sufficient to justify the classification by the deep model, but also new aspects which if added will change the classification. In order to move beyond the limitations of previous explanations, our key contribution is how we define addition for such rich data in a formal yet humanly interpretable way that leads to meaningful results. This was one of the open questions laid out in in Dhurandhar this http URL. (2018) [6], which proposed a general framework for creating (local) contrastive explanations for deep models, but is limited to simple use cases such as black/white images. We showcase the efficacy of our approach on three diverse image data sets (faces, skin lesions, and fashion apparel) in creating intuitive explanations that are also quantitatively superior compared with other state-of-the-art interpretability methods. A thorough user study with 200 individuals asks how well the various methods are understood by humans and demonstrates which aspects of contrastive explanations are most desirable.

研究动机与目标

• 解决现有解释方法仅突出充分特征而未说明会改变预测的因素这一局限性。
• 以数学上严谨且人类可理解的方式，形式化定义丰富视觉数据（如图像）中'添加'的概念。
• 将对比解释生成从简单数据（如黑白图像）扩展到人脸、皮肤病变和时尚服饰等复杂视觉领域。
• 通过200名参与者的大型用户研究，评估人类对对比解释的理解程度和偏好程度。

提出的方法

• 引入单调属性函数，以定义如何有意义地向输入图像添加新视觉特征。
• 利用这些函数通过识别充分特征和会改变模型预测的反事实变更，生成对比解释。
• 将该方法应用于三个不同图像数据集：名人面部图像、皮肤病变图像和时尚服饰图像，证明其在不同领域的泛化能力。
• 采用正式框架，确保所添加属性在语义上一致且符合人类感知。
• 通过定量指标和用户研究验证该方法，评估其可解释性和用户偏好。
• 利用深度神经网络激活，以端到端可微的方式引导搜索相关和反事实属性。

实验结果

研究问题

• RQ1 如何在图像等丰富数据中形式化定义视觉属性的添加，以实现有意义的对比解释？
• RQ2 与基于显著性图的方法相比，对比解释在多大程度上提升了人类对深度学习模型决策的理解？
• RQ3 在对比解释中，哪些方面——如同时识别充分特征和反事实特征——最符合用户需求？
• RQ4 所提出方法在不同图像领域中，与当前最先进可解释性方法相比，在定量指标上表现如何？
• RQ5 该方法能否在包括医学、人脸和时尚图像在内的不同类型视觉数据上实现泛化？

主要发现

• 在200名参与者的研究中，所提出方法生成的对比解释显著更直观，且更受用户青睐。
• 在所有三个数据集上，该方法在可解释性指标的定量表现均优于当前最先进解释技术。
• 用户一致评价同时突出充分特征和反事实变更的解释更具信息量和可信度。
• 对属性添加的正式定义使得即使在复杂视觉数据中，也能生成一致且语义上合理的对比解释。
• 该方法成功将对比解释生成扩展到以往研究未覆盖的丰富视觉领域。