[论文解读] A Rate-Distortion Framework for Explaining Neural Network Decisions

Jan Macdonald, Stephan Wäldchen+2 more|arXiv (Cornell University)|May 27, 2019

Explainable Artificial Intelligence (XAI)参考文献 27被引用 15

一句话总结

本文提出一种率失真框架，通过在非相关特征被随机化时最小化分类器输出的失真，正式定义并计算神经网络决策中最相关的输入特征。该文证明该问题在计算上是困难的（属于 NP^PP 完全类），并提出一种启发式方法 RDE，其在 MNIST 和 STL-10 图像分类任务中，尤其在低速率下，优于现有方法，能更有效地识别稀疏且高影响力的特征集合。

ABSTRACT

We formalise the widespread idea of interpreting neural network decisions as an explicit optimisation problem in a rate-distortion framework. A set of input features is deemed relevant for a classification decision if the expected classifier score remains nearly constant when randomising the remaining features. We discuss the computational complexity of finding small sets of relevant features and show that the problem is complete for $\mathsf{NP}^\mathsf{PP}$, an important class of computational problems frequently arising in AI tasks. Furthermore, we show that it even remains $\mathsf{NP}$-hard to only approximate the optimal solution to within any non-trivial approximation factor. Finally, we consider a continuous problem relaxation and develop a heuristic solution strategy based on assumed density filtering for deep ReLU neural networks. We present numerical experiments for two image classification data sets where we outperform established methods in particular for sparse explanations of neural network decisions.

研究动机与目标

• 使用率失真框架正式定义神经网络决策中特征相关性的概念。
• 分析识别给定分类器输出下最小相关特征集合的计算复杂性。
• 开发一种用于深度神经网络决策稀疏解释的实用启发式方法。
• 在图像分类基准上，评估该方法相对于现有解释技术的性能表现。

提出的方法

• 该框架通过期望失真定义相关性：当非相关特征被随机样本替换时，原始分类器输出与随机化后输出之间的平方差。
• 率失真函数 R(ε) 定义为满足失真 D(S) ≤ ε 的最小集合大小 S，形式化了解释稀疏性与预测保真度之间的权衡。
• 该问题被证明属于 NP^PP 完全类，表明其具有很高的计算复杂度，且在任何非平凡因子内近似也是 NP 难的。
• 引入离散优化问题的连续松弛，通过假设密度滤波方法，为深层 ReLU 网络提供启发式解法。
• 所提出的 RDE（率失真解释）方法利用该松弛，通过迭代最小化期望失真来识别最相关的特征。
• 评估了 RDE 的两种变体：一种使用对角近似，另一种使用低秩近似，以提升特征定位精度。

实验结果

研究问题

• RQ1 如何在神经网络决策中，为特征相关性提供一种形式化且有原则的定义？
• RQ2 在随机化条件下，寻找能保持分类器输出的最小相关特征集合的问题在计算上有多困难？
• RQ3 离散优化问题的连续松弛能否产生一种实用且有效的启发式方法用于估计特征相关性？
• RQ4 所提出的方法在识别稀疏且高影响力特征方面，与现有解释技术相比表现如何？
• RQ5 该方法是否在率失真权衡中表现更优，尤其是在低速率（稀疏解释）下？

主要发现

• 寻找最小相关特征集合的问题属于 NP^PP 完全类，表明其在计算人工智能问题中属于最困难的一类。
• 该问题在任何非平凡因子内近似仍为 NP 难，这为实际应用中使用启发式方法提供了合理性。
• 所提出的 RDE 方法在低速率下实现了期望失真最陡峭的下降，表明其能更优地识别最相关的特征。
• 在 MNIST 数据集上，RDE 在相关性排序测试中优于所有基线方法，随着更多相关特征被揭示，失真下降最快。
• 在 STL-10 数据集上，RDE 的低秩变体能捕捉更精细的细节（如狗的面部特征），且在低速率下保持了强劲性能。
• 与 LIME、SHAP、LRP 和 SmoothGrad 相比，RDE 生成的稀疏解释在识别核心决策相关特征方面更加准确。