[论文解读] CIFS: Improving Adversarial Robustness of CNNs via Channel-wise Importance-based Feature Selection

Hanshu Yan, Jingfeng Zhang+4 more|arXiv (Cornell University)|Feb 10, 2021

Adversarial Robustness in Machine Learning参考文献 52被引用 11

一句话总结

CIFS 提出了一种基于通道重要性的特征选择机制，通过在对抗训练过程中抑制负相关（NR）通道并使激活与正相关（PR）通道对齐，从而提升CNN的对抗鲁棒性。通过从top-k预测梯度生成动态重要性掩码，CIFS在PGD-20攻击下将CIFAR10的鲁棒准确率最高提升6个百分点，优于标准对抗训练。

ABSTRACT

We investigate the adversarial robustness of CNNs from the perspective of channel-wise activations. By comparing extit{non-robust} (normally trained) and extit{robustified} (adversarially trained) models, we observe that adversarial training (AT) robustifies CNNs by aligning the channel-wise activations of adversarial data with those of their natural counterparts. However, the channels that are extit{negatively-relevant} (NR) to predictions are still over-activated when processing adversarial data. Besides, we also observe that AT does not result in similar robustness for all classes. For the robust classes, channels with larger activation magnitudes are usually more extit{positively-relevant} (PR) to predictions, but this alignment does not hold for the non-robust classes. Given these observations, we hypothesize that suppressing NR channels and aligning PR ones with their relevances further enhances the robustness of CNNs under AT. To examine this hypothesis, we introduce a novel mechanism, i.e., \underline{C}hannel-wise \underline{I}mportance-based \underline{F}eature \underline{S}election (CIFS). The CIFS manipulates channels' activations of certain layers by generating non-negative multipliers to these channels based on their relevances to predictions. Extensive experiments on benchmark datasets including CIFAR10 and SVHN clearly verify the hypothesis and CIFS's effectiveness of robustifying CNNs. \url{https://github.com/HanshuYAN/CIFS}

研究动机与目标

• 探究为何经过对抗训练的模型在某些类别上仍会失效，尽管已进行了鲁棒化处理。
• 识别通道级激活（尤其是NR和PR通道）在对抗脆弱性中的作用。
• 开发一种机制，通过选择性抑制NR通道并使PR通道激活与预测相关性对齐，从而增强鲁棒性。
• 在不牺牲自然准确率的前提下提升对抗鲁棒性，特别是在标准对抗训练表现不佳的情况下。

提出的方法

• CIFS 引入了一个可学习的重要性掩码，根据其对top-k预测logits的相关性来调制通道级激活。
• 使用一个探测网络在特定层生成原始预测，作为最终分类器的代理。
• 通过计算top-k logits相对于通道激活的梯度来计算重要性得分，以捕捉通道对预测置信度的相关性。
• 重要性掩码作为乘法因子应用于前向传播中，以抑制NR通道并促进PR通道。
• 该方法集成到对抗训练中，掩码与主干网络联合训练，使用标准交叉熵损失。
• 利用top-k预测（尤其是top-2或top-3）的反馈来提高重要性估计的可靠性，减少对关键通道的误分类。

实验结果

研究问题

• RQ1 在对抗训练期间抑制负相关（NR）通道是否能提升鲁棒性？
• RQ2 将通道激活与预测相关性对齐是否能增强鲁棒性，特别是在非鲁棒类别上？
• RQ3 与使用top-1相比，使用top-k预测反馈为何能提高通道重要性估计的可靠性？
• RQ4 CIFS是否能减少对对抗数据的过拟合，同时保持或提升自然准确率？

主要发现

• 在使用top-2反馈时，CIFS相较于标准对抗训练，使CIFAR10在PGD-20攻击下的鲁棒准确率提升6个百分点。
• 在top-2反馈下，CIFS/Final的防御率比CIFS/CIFS高出6个百分点，表明CIFS能有效在最终分类前净化对抗输入。
• 使用top-1 logits进行重要性评估时，关键通道被误识别的概率超过50%；而使用top-2或top-3反馈可显著提高识别相关通道的准确性。
• CIFS在提升鲁棒性的同时保持了较高的自然准确率（CIFAR10上top-1准确率为83.49%），展示了自然准确率与鲁棒准确率之间有利的权衡。
• 消融实验表明，top-k预测反馈对有效通道选择至关重要，其中top-2和top-3优于top-1。