[论文解读] Maximally Invariant Data Perturbation as Explanation

Satoshi Hara, Kouichi Ikeno+2 more|arXiv (Cornell University)|Jun 19, 2018

Adversarial Robustness in Machine Learning参考文献 9被引用 7

一句话总结

本文提出了一种基于最大不变数据扰动的新型特征评分方法，其中若微小扰动即破坏模型预测，则认为该特征重要。通过使用一阶泰勒近似将问题形式化为线性规划，该方法在VGG16-based图像分类实验中，相较于现有方法更稳健地识别出显著的图像区域，且在像素遮蔽条件下保持了更高的分类准确率。

ABSTRACT

While several feature scoring methods are proposed to explain the output of complex machine learning models, most of them lack formal mathematical definitions. In this study, we propose a novel definition of the feature score using the maximally invariant data perturbation, which is inspired from the idea of adversarial example. In adversarial example, one seeks the smallest data perturbation that changes the model's output. In our proposed approach, we consider the opposite: we seek the maximally invariant data perturbation that does not change the model's output. In this way, we can identify important input features as the ones with small allowable data perturbations. To find the maximally invariant data perturbation, we formulate the problem as linear programming. The experiment on the image classification with VGG16 shows that the proposed method could identify relevant parts of the images effectively.

研究动机与目标

• 解决现有复杂机器学习模型特征评分方法中缺乏正式数学定义的问题。
• 通过反转对抗样本范式来形式化特征评分：不寻找使预测改变的最小扰动，而是寻找使预测保持不变的最大扰动。
• 开发一种高效的计算方法，利用线性规划近似识别不变扰动。
• 通过提供更可靠、数学基础更坚实的解释，提升医疗和法律等高风险领域中的可解释性。
• 展示该方法在识别深度学习模型中相关图像区域方面的有效性，特别是在图像分类任务中。

提出的方法

• 基于能保持模型输出类别的最大扰动集合，提出一种新的特征评分定义。
• 将不变扰动集合限制在由参数 u 和 v 定义的盒形区域内，其中特征 i 的总允许扰动为 u_i + v_i。
• 使用一阶泰勒展开近似模型输出，并将半无限规划问题转化为可处理的线性规划问题。
• 应用软约束和参数共享扩展，以提高显著性图的稳定性和降低噪声。
• 通过在多个小随机扰动下求解扰动问题，引入平滑变体以增强鲁棒性。
• 对每个图像块计算最终得分为 2δ - u_m - v_m，数值越高表示特征重要性越强。

实验结果

研究问题

• RQ1 能否从不变数据扰动的概念中推导出形式化且数学基础坚实的特征重要性定义？
• RQ2 如何高效计算保持模型输出的最大扰动，以用于特征评分？
• RQ3 与现有解释方法相比，该方法是否能更准确、更稳定地识别出图像分类中的显著区域？
• RQ4 该方法在像素遮蔽下在多大程度上保持了模型预测，表明其是否有效识别出相关特征？
• RQ5 参数共享和平滑处理在多大程度上提升了所得显著性图的质量和鲁棒性？

主要发现

• 在像素遮蔽条件下，该方法显著优于基线方法，即使遮蔽了最低得分像素的50%，预测结果变化也低于10%。
• 由于采用了参数共享，该方法在显著性图中实现了更高的信噪比，生成了更清晰、更连贯的归因图。
• 与仅突出显示动物头部的方法不同，该方法识别出熊的整个身体为相关区域，表明其对特征重要性的理解更具整体性。
• 该方法的平滑变体在多个随机扰动下表现出更优的鲁棒性，证实了计算得分的稳定性。
• 线性规划形式化使得计算高效，使该方法可扩展至高维输入（如图像）。
• 在遮蔽条件下，该方法在保持模型预测方面优于已建立的基线方法，如Gradient、GuidedBP、SmoothGrad、IntGrad、LRP、DeepLIFT和Occlusion。