[论文解读] Feature Prioritization and Regularization Improve Standard Accuracy and Adversarial Robustness

Chihuang Liu, Joseph F. JáJá|arXiv (Cornell University)|Oct 4, 2018

Adversarial Robustness in Machine Learning参考文献 25被引用 6

一句话总结

本文提出了一种通过非线性注意力模块进行特征优先化并结合L2特征正则化来增强对抗训练的方法，从而同时提升标准准确率和对抗鲁棒性。注意力机制强调鲁棒且与标签相关的特征，同时抑制非鲁棒特征，而正则化则鼓励干净输入与对抗输入之间的特征不变性，使该方法在MNIST、CIFAR-10和CIFAR-100上达到最先进性能。

ABSTRACT

Adversarial training has been successfully applied to build robust models at a certain cost. While the robustness of a model increases, the standard classification accuracy declines. This phenomenon is suggested to be an inherent trade-off. We propose a model that employs feature prioritization by a nonlinear attention module and $L_2$ feature regularization to improve the adversarial robustness and the standard accuracy relative to adversarial training. The attention module encourages the model to rely heavily on robust features by assigning larger weights to them while suppressing non-robust features. The regularizer encourages the model to extract similar features for the natural and adversarial images, effectively ignoring the added perturbation. In addition to evaluating the robustness of our model, we provide justification for the attention module and propose a novel experimental strategy that quantitatively demonstrates that our model is almost ideally aligned with salient data characteristics. Additional experimental results illustrate the power of our model relative to the state of the art methods.

研究动机与目标

• 解决对抗训练中标准准确率与对抗鲁棒性之间的权衡问题。
• 开发一种方法，明确鼓励模型依赖于鲁棒且不变的特征。
• 通过使梯度图与显著数据特征对齐，提升模型可解释性。
• 定量评估梯度图与输入数据之间的一致性。
• 证明所提方法在性能上优于对抗训练及最先进基线方法。

提出的方法

• 引入一种非线性注意力模块，根据局部特征与全局特征的相关性为其分配更高权重，其中全局特征用于分类。
• 使用非线性兼容函数计算注意力权重，偏好与类别标签高度相关的特征。
• 应用L2特征正则化，以最小化干净图像与其对抗样本之间特征的L2距离。
• 正则化项促使模型从干净输入和扰动输入中提取相似特征，从而有效忽略对抗噪声。
• 采用一种新颖的评估策略，通过梯度图分类准确率定量衡量其与显著数据特征的一致性。
• 将对抗训练与注意力及正则化组件相结合，形成最终模型（AT-att-reg）

实验结果

研究问题

• RQ1 通过注意力机制进行特征优先化是否能同时提升标准准确率和对抗鲁棒性？
• RQ2 L2特征正则化是否通过在扰动下促进特征不变性来增强鲁棒性？
• RQ3 模型的梯度图在多大程度上与显著数据特征对齐，表明其依赖于鲁棒特征？
• RQ4 所提方法在定量上与对抗训练及其他最先进方法相比表现如何？
• RQ5 注意力机制是否有效抑制了非鲁棒的背景特征？

主要发现

• 在CIFAR-10上，所提模型（AT-att-reg）在梯度图上使用裁剪后测试准确率达到31.59%，显著优于Madry等人模型的28.72%。
• 在CIFAR-100上，该模型在PGD攻击下相比基线对抗训练，鲁棒准确率最高提升4%。
• 在CW-100攻击下，该模型优于对抗logit配对（ALP）3.8%，证明了特征级正则化的优越性。
• 所提模型的梯度图与原始图像表现出更优的一致性，表明其更强烈地依赖于鲁棒且显著的特征。
• 定性分析证实，注意力机制聚焦于物体区域，并有效抑制了背景杂乱。
• 该模型在标准准确率和对抗鲁棒性方面均优于仅使用对抗训练的模型，验证了所提组件的有效性。