[论文解读] Information-Theoretic Visual Explanation for Black-Box Classifiers

Jihun Yi, Eunji Kim+2 more|arXiv (Cornell University)|Sep 23, 2020

Explainable Artificial Intelligence (XAI)参考文献 37被引用 6

一句话总结

本文提出了一种基于信息论的框架，用于通过两种新型显著性图——信息增益（IG）和点互信息（PMI）——解释黑箱图像分类器。通过利用条件生成模型准确地对输入特征进行边缘化，该方法避免了基于扰动的解释中的分布偏移问题，从而生成更忠实、理论基础更坚实的显著性图，兼具类别无关性（IG）与类别特异性（PMI），在定量性能上优于现有方法。

ABSTRACT

In this work, we attempt to explain the prediction of any black-box classifier from an information-theoretic perspective. For each input feature, we compare the classifier outputs with and without that feature using two information-theoretic metrics. Accordingly, we obtain two attribution maps--an information gain (IG) map and a point-wise mutual information (PMI) map. IG map provides a class-independent answer to "How informative is each pixel?", and PMI map offers a class-specific explanation of "How much does each pixel support a specific class?" Compared to existing methods, our method improves the correctness of the attribution maps in terms of a quantitative metric. We also provide a detailed analysis of an ImageNet classifier using the proposed method, and the code is available online.

研究动机与目标

• 解决现有基于扰动的深度神经网络解释方法中缺乏忠实性的问题。
• 克服特征移除过程中出现的分布外（OoD）问题，该问题会导致虚假归因。
• 提供一个理论基础扎实的信息论解释框架，支持类别无关与类别特定的解释。
• 通过信息增益与点互信息等信息论度量，提升显著性图的定量正确性。
• 通过忠实、理论驱动的视觉解释，实现对ImageNet分类模型的更深层次可解释性。

提出的方法

• 使用条件生成模型（PatchSampler）对输入特征进行精确边缘化，避免特征移除过程中的分布外问题。
• 采用信息增益（IG）作为类别无关度量，量化每个像素对整体分类器不确定性减少的贡献。
• 引入点互信息（PMI）作为类别特定度量，衡量每个像素对给定类别支持或反驳的程度。
• 将IG与PMI显著图应用于可视化输入图像中的显著区域，其中IG突出显示信息丰富的像素，PMI则展示对特定类别的支持或反对证据。
• 实施两步基于扰动的方法：(1) 利用生成模型准确估计移除某特征后的分类器输出；(2) 对比有无该特征时的预测结果，进行信息论比较。
• 在ImageNet上训练PatchSampler，以建模条件上下文下的像素分布，从而在边缘化过程中实现缺失图像区域的真实重建。

实验结果

研究问题

• RQ1 如何通过解决特征移除过程中的分布外（OoD）问题，提升黑箱图像分类器中显著性图的忠实性？
• RQ2 信息论度量（如信息增益与点互信息）是否能提供比现有基于扰动的方法更可靠、更具可解释性的解释？
• RQ3 与现有解释方法相比，所提出的IG与PMI显著图在定量评估指标上的提升程度如何？
• RQ4 生成模型能否有效用于特征边缘化，以保持数据分布并提升解释质量？
• RQ5 所提出方法是否提供了现有方法无法实现的独特可解释能力，如类别无关显著性与类别特定证据？

主要发现

• 所提方法在标准评估指标下，显著性图的定量忠实度优于现有方法。
• 使用条件生成模型（PatchSampler）显著降低了OoD问题，防止了因不真实图像扰动导致的虚假归因。
• IG图提供了像素信息量的类别无关解释，突出显示无论预测为何类别均能降低分类器不确定性的区域。
• PMI图提供了类别特定的洞察，识别出支持或反驳特定类别的像素——例如，显示降落伞的织物是‘气球’类别的证据，而绳索则是反证据。
• 在定性与定量评估中，该方法均优于基线显著性技术，如梯度显著图、Grad-CAM、积分梯度与RISE。
• 代码已公开发布于 https://github.com/nuclearboy95/XAI-Information-Theoretic-Explanation，支持可复现性与进一步研究。