[论文解读] FAR: A General Framework for Attributional Robustness

Adam Ivankay, I. Girardi+2 more|arXiv (Cornell University)|Oct 14, 2020

Explainable Artificial Intelligence (XAI)被引用 6

一句话总结

本文提出FAR，一种通过最小化局部输入邻域内梯度图之间最大差异性的通用框架，用于训练具有归因鲁棒性的深度神经网络。该框架引入了两种新方法AAT与AdvAAT，联合优化鲁棒预测与鲁棒归因，在视觉数据集上实现了最先进或具有竞争力的归因鲁棒性，同时降低了对训练和估计超参数的依赖。

ABSTRACT

Attribution maps are popular tools for explaining neural networks predictions. By assigning an importance value to each input dimension that represents its impact towards the outcome, they give an intuitive explanation of the decision process. However, recent work has discovered vulnerability of these maps to imperceptible adversarial changes, which can prove critical in safety-relevant domains such as healthcare. Therefore, we define a novel generic framework for attributional robustness (FAR) as general problem formulation for training models with robust attributions. This framework consist of a generic regularization term and training objective that minimize the maximal dissimilarity of attribution maps in a local neighbourhood of the input. We show that FAR is a generalized, less constrained formulation of currently existing training methods. We then propose two new instantiations of this framework, AAT and AdvAAT, that directly optimize for both robust attributions and predictions. Experiments performed on widely used vision datasets show that our methods perform better or comparably to current ones in terms of attributional robustness while being more generally applicable. We finally show that our methods mitigate undesired dependencies between attributional robustness and some training and estimation parameters, which seem to critically affect other competitor methods.

研究动机与目标

• 解决在医疗保健和金融等安全关键应用中，归因图对不可察觉对抗扰动的脆弱性问题。
• 将归因鲁棒性形式化为一种通用且灵活的训练目标，使鲁棒性与预测鲁棒性解耦。
• 减少现有方法中归因鲁棒性对模型初始化、ReLU近似参数及其他超参数的不良依赖。
• 开发新型训练方法，直接优化原始归因图与对抗归因图之间的高相关性。

提出的方法

• 提出一种通用正则化项与训练目标，最小化输入及其在L∞-球半径ε内的扰动版本之间归因图的最大差异。
• 将归因鲁棒性（AR）定义为1减去在预测保持不变的约束下，原始与扰动归因图之间最大距离。
• 提出AAT（对抗归因训练）与AdvAAT（带归因训练的对抗训练）作为FAR框架的实例，联合优化鲁棒预测与鲁棒归因。
• 采用积分梯度（IG）与显著性图作为归因方法，其中IG通过从基线到输入的路径积分计算。
• 使用由参数β控制的平滑ReLU近似，对二阶梯度进行近似，以估计对抗攻击生成所需的梯度。
• 采用基于投影梯度下降的攻击（IFIA）生成最大化归因图差异性的对抗样本，用于训练以提升鲁棒性。

实验结果

研究问题

• RQ1 能否构建一个通用统一的框架，用于训练与特定归因方法或距离度量无关的深度神经网络，使其具备鲁棒的归因图？
• RQ2 所提出的FAR框架在归因鲁棒性与跨数据集泛化能力方面，相较于现有方法表现如何？
• RQ3 归因鲁棒性估计在多大程度上依赖于模型权重初始化、ReLU近似紧密度（β）及其他超参数？
• RQ4 对鲁棒预测与鲁棒归因进行联合优化，是否能优于单独训练或现有方法？

主要发现

• AAT与AdvAAT在Restricted ImageNet上的top-300交并系数分别达到0.93与0.94，显著优于自然模型（0.12），表明对对抗扰动具有强鲁棒性。
• 归因鲁棒性（以IN与CO衡量）随正则化参数λ增加而提升，在λ > 1后趋于饱和，表明可有效控制鲁棒性-准确率权衡。
• 所提方法减轻了归因鲁棒性对权重初始化的依赖，相较于基线模型，不同初始化下的方差显著降低。
• 鲁棒性估计对ReLU近似参数β高度敏感；作者表明极端β值会导致二阶梯度消失，影响攻击有效性。
• 该框架可超越现有方法，支持真实解释作为监督信号，并兼容多种归因方法与距离度量。
• 实验结果证实，AAT与AdvAAT有效减少了对超参数的不良依赖，尤其在初始化与β方面，而这两者对其他方法的鲁棒性估计具有关键影响。