[论文解读] Improving Adversarial Robustness via Channel-wise Activation Suppressing

Yang Bai, Yuyuan Zeng+4 more|arXiv (Cornell University)|Mar 11, 2021

Adversarial Robustness in Machine Learning参考文献 39被引用 59

一句话总结

论文揭示对抗样本的两个通道维激活属性（幅度更高且通道激活更趋均匀），并提出 Channel-wise Activation Suppressing (CAS) 以动态抑制冗余通道，在与对抗训练结合时提升鲁棒性。

ABSTRACT

The study of adversarial examples and their activation has attracted significant attention for secure and robust learning with deep neural networks (DNNs). Different from existing works, in this paper, we highlight two new characteristics of adversarial examples from the channel-wise activation perspective: 1) the activation magnitudes of adversarial examples are higher than that of natural examples; and 2) the channels are activated more uniformly by adversarial examples than natural examples. We find that the state-of-the-art defense adversarial training has addressed the first issue of high activation magnitudes via training on adversarial examples, while the second issue of uniform activation remains. This motivates us to suppress redundant activation from being activated by adversarial perturbations via a Channel-wise Activation Suppressing (CAS) strategy. We show that CAS can train a model that inherently suppresses adversarial activation, and can be easily applied to existing defense methods to further improve their robustness. Our work provides a simple but generic training strategy for robustifying the intermediate layer activation of DNNs.

研究动机与目标

• 从通道维度理解中间层激活与对抗鲁棒性之间的关系。
• 识别对抗样本在通道层面的两个激活特征（幅值和激活频次）。
• 提出 CAS 以抑制冗余通道激活，并在与现有防御结合时提升鲁棒性。

提出的方法

• 通过对倒数第二层特征应用全局平均池化来分析通道维激活。
• 证明对抗样本具有比自然样本更高的通道幅值，并且激活频率更均匀。
• 引入 CAS：一个辅助分类器学习通道重要性并在训练过程中重新加权通道激活。
• 将 CAS 与标准对抗训练（以及 TRADES、MART 等变体）结合，使用联合损失。
• 提供将 CAS 模块插入中间层的插入策略并分析鲁棒性。
• 在 CIFAR-10 和 SVHN 上评估对白盒和黑盒攻击的鲁棒性。

实验结果

研究问题

• RQ1 对抗性扰动是否会导致比自然输入更高的通道维激活幅值以及更均匀的通道激活？
• RQ2 通道维抑制机制是否能够在超越标准对抗训练的基础上提升鲁棒性？
• RQ3 应用于不同中间层和防御框架时，CAS 是否有效？
• RQ4 在各种攻击下，CAS 模块本身的鲁棒性有多强？
• RQ5 CAS 是否在提升对抗鲁棒性的同时维持或提高自然准确率？

主要发现

• 对抗样本通常产生比自然样本更高的通道维激活幅值；对抗训练通过降低对抗幅值来缩小差距。
• 对抗样本更均匀地激活通道，激活许多自然输入很少激活的低频通道。
• 在加入对抗训练、TRADES 或 MART 时，CAS 通过抑制冗余通道激活，进一步提升鲁棒性。
• 当插入在更深的块后（例如 ResNet-18 的 Block4 之后）时，CAS 实现了更明显的通道维抑制。
• 在 CIFAR-10 和 SVHN 上，结合 CAS 的防御在 FGSM、PGD-20、CW∞、以及自适应攻击等白盒和黑盒鲁棒性方面有所提升。