[论文解读] Improving Network Robustness against Adversarial Attacks with Compact Convolution

Rajeev Ranjan, Swami Sankaranarayanan+2 more|arXiv (Cornell University)|Dec 3, 2017

Adversarial Robustness in Machine Learning参考文献 30被引用 14

一句话总结

本文提出紧凑卷积网络（CCNs），通过L2-Softmax损失和一种新型紧凑卷积模块，强制实现特征紧凑性，从而提升对抗鲁棒性。通过将每一层的特征归一化至超球面上，CCNs降低了对对抗扰动的敏感性，在无需额外训练开销的情况下，实现了对白盒和黑盒攻击的最先进防御性能。

ABSTRACT

Though Convolutional Neural Networks (CNNs) have surpassed human-level performance on tasks such as object classification and face verification, they can easily be fooled by adversarial attacks. These attacks add a small perturbation to the input image that causes the network to misclassify the sample. In this paper, we focus on neutralizing adversarial attacks by compact feature learning. In particular, we show that learning features in a closed and bounded space improves the robustness of the network. We explore the effect of L2-Softmax Loss, that enforces compactness in the learned features, thus resulting in enhanced robustness to adversarial perturbations. Additionally, we propose compact convolution, a novel method of convolution that when incorporated in conventional CNNs improves their robustness. Compact convolution ensures feature compactness at every layer such that they are bounded and close to each other. Extensive experiments show that Compact Convolutional Networks (CCNs) neutralize multiple types of attacks, and perform better than existing methods in defending adversarial attacks, without incurring any additional training overhead compared to CNNs.

研究动机与目标

• 解决CNN对微小、难以察觉的对抗扰动敏感而导致误分类的问题。
• 探究在学习的特征空间中强制实现紧凑性是否能提升对对抗攻击的鲁棒性。
• 提出一种新型卷积操作——紧凑卷积，以在每一层强制实现特征紧凑性。
• 证明紧凑特征学习可在不增加训练复杂度的情况下提升鲁棒性。

提出的方法

• 引入L2-Softmax损失，该损失在应用Softmax之前将特征约束在固定半径的超球面上，促进类内紧凑性和类间分离性。
• 提出紧凑卷积，一种改进的卷积操作，该操作在应用卷积核前对每个输入块进行L2归一化和缩放，确保每一层的特征都保持有界且紧凑。
• 将紧凑卷积模块集成到标准CNN架构中，构建紧凑卷积网络（CCNs），同时保持与标准CNN相同的训练流程。
• 使用t-SNE可视化和奇异值分析，比较不同模型（SM、L2SM、CCN）的特征分布和滤波器稳定性。
• 在MNIST和CIFAR-10上使用FGSM、DeepFool等对抗攻击训练并评估CCNs，以衡量其鲁棒性。
• 在白盒和黑盒攻击设置下，将CCNs与标准CNN和L2-Softmax模型进行对比。

实验结果

研究问题

• RQ1 在学习的特征空间中强制实现紧凑性是否能提升网络对对抗攻击的鲁棒性？
• RQ2 在每一层应用紧凑卷积是否能产生比标准卷积更稳定、更鲁棒的特征表示？
• RQ3 L2-Softmax损失与标准Softmax相比，在提升对抗鲁棒性方面表现如何？
• RQ4 在神经网络架构中，将紧凑卷积模块放置在不同深度会产生何种影响？
• RQ5 紧凑特征学习是否能通过人类观察者更容易检测到对抗样本，从而表明扰动幅度更大？

主要发现

• 在MNIST上，CCNs在ε = 0.3的FGSM攻击下测试准确率达到60.32%，显著优于标准模型（31.76%）和仅在最后全连接层应用紧凑模块的L2SM模型（58.71%）。
• t-SNE可视化显示，CCN和L2SM模型的特征比标准模型更易分离且更紧凑，尤其在深层如fc1和fc2中表现明显。
• 奇异值分析表明，CCN和L2SM模型在深层中奇异值迅速衰减，表明对对抗扰动的抑制能力更强，且特征更稳定。
• 为CCNs生成的对抗样本需要显著更大的扰动才能导致误分类，通常会使图像产生肉眼可察觉的失真。
• CCNs在无需额外训练开销的情况下，实现了对白盒和黑盒攻击（包括FGSM、DeepFool和Carlini-Wagner攻击）的最先进防御性能。
• 紧凑性效果在深层中最为显著——仅在最后全连接层应用紧凑卷积时鲁棒性最佳，而浅层则收益递减。