[论文解读] HyperNetworks with statistical filtering for defending adversarial examples

Zhun Sun, Mete Özay+1 more|arXiv (Cornell University)|Nov 6, 2017

Adversarial Robustness in Machine Learning参考文献 13被引用 13

一句话总结

该论文提出使用统计滤波的HyperNetwork，通过利用输入统计量（均值与方差）动态生成数据相关的卷积核，以增强CNN的对抗鲁棒性。该方法在无需额外训练或检测模块的情况下，提升了对各类攻击（如FGSM、高斯噪声和黑盒攻击）的鲁棒性，在标准训练过程中实现自发防御，且对干净数据的性能无任何下降。

ABSTRACT

Deep learning algorithms have been known to be vulnerable to adversarial perturbations in various tasks such as image classification. This problem was addressed by employing several defense methods for detection and rejection of particular types of attacks. However, training and manipulating networks according to particular defense schemes increases computational complexity of the learning algorithms. In this work, we propose a simple yet effective method to improve robustness of convolutional neural networks (CNNs) to adversarial attacks by using data dependent adaptive convolution kernels. To this end, we propose a new type of HyperNetwork in order to employ statistical properties of input data and features for computation of statistical adaptive maps. Then, we filter convolution weights of CNNs with the learned statistical maps to compute dynamic kernels. Thereby, weights and kernels are collectively optimized for learning of image classification models robust to adversarial attacks without employment of additional target detection and rejection algorithms. We empirically demonstrate that the proposed method enables CNNs to spontaneously defend against different types of attacks, e.g. attacks generated by Gaussian noise, fast gradient sign methods (Goodfellow et al., 2014) and a black-box attack(Narodytska & Kasiviswanathan, 2016).

研究动机与目标

• 解决深度CNN对对抗扰动的脆弱性，此类扰动会使输入被错误分类，但对人类而言仍难以察觉。
• 克服现有防御方法的局限性，这些方法会增加计算复杂度，或在训练期间需要生成对抗样本。
• 开发一种轻量级、端到端的防御机制，通过自适应、数据相关的卷积核提升鲁棒性。
• 实现无需依赖外部检测或拒绝模块的鲁棒性，同时保持在干净数据上的性能。

提出的方法

• 引入一个HyperNetwork，利用输入数据和特征图在每个通道上的均值与方差，计算统计自适应映射。
• 使用HyperNetwork的输出与标准卷积权重进行Hadamard（逐元素）乘积，生成动态、数据自适应的卷积核。
• 联合训练主CNN与HyperNetwork，使卷积核能够根据输入的统计特性自适应调整。
• 确保HyperNetwork的输出对输入分布变化敏感，从而实现对小扰动的鲁棒性。
• 利用特征的统计特性，在推理过程中实时过滤并重新加权卷积核。
• 端到端优化整个系统，无需额外的对抗样本或检测头。

实验结果

研究问题

• RQ1 能否利用输入数据和特征的统计特性，生成自适应卷积核以提升对抗鲁棒性？
• RQ2 所提出的基于HyperNetwork的滤波机制是否能在不增加训练复杂度的前提下，增强对白盒和黑盒攻击的鲁棒性？
• RQ3 与标准CNN相比，动态卷积核自适应调整如何影响梯度传播以及对抗攻击的成功率？
• RQ4 该防御是否能通过正常训练自发实现，而无需对抗样本增强或专用检测网络？
• RQ5 HyperNetwork对输入统计特性的敏感度在多大程度上促进了对基于梯度攻击的鲁棒性？

主要发现

• 所提方法在无需对抗样本训练的情况下，实现了对FGSM、高斯噪声和黑盒攻击（如Narodytska & Kasiviswanathan, 2016）的自发鲁棒性。
• ResNet-50-SHC在保持高干净准确率的同时，对各类攻击表现出改进的鲁棒性，证明了其在不同架构间的泛化能力。
• HyperNetwork的统计滤波有效分散了对抗梯度，如当梯度通过HyperNetwork时，对对抗样本的预测置信度更高，表明其具有抑制梯度传播的作用。
• 当通过主网络路径攻击（SHC-W）时，模型表现与普通CNN相似；但当通过HyperNetwork路径攻击（SHC-T）时，其保持高准确率，仅出现轻微置信度下降。
• 该方法未降低干净图像的性能，证实鲁棒性提升未以标准准确率为代价。
• 由HyperNetwork自适应卷积核形成的准决策边界在干净输入邻域内保持稳定，但在大扰动下被破坏，表明其为一种局部化防御机制。