[论文解读] Local Convolutions Cause an Implicit Bias towards High Frequency Adversarial Examples

Josue Ortega Caro, Yilong Ju+5 more|arXiv (Cornell University)|Jun 19, 2020

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出，神经网络中的局部卷积由于傅里叶不确定性原理，隐式地偏向学习高频特征，从而解释了为何对抗样本主要包含高频扰动。作者证明，增大卷积核的局部性会增强这种偏向性，而用视觉变换器或MLP替代卷积则显著降低该偏向性，表明网络架构设计是实现对抗鲁棒性的关键因素。

ABSTRACT

Adversarial Attacks are still a significant challenge for neural networks. Recent work has shown that adversarial perturbations typically contain high-frequency features, but the root cause of this phenomenon remains unknown. Inspired by theoretical work on linear full-width convolutional models, we hypothesize that the local (i.e. bounded-width) convolutional operations commonly used in current neural networks are implicitly biased to learn high frequency features, and that this is one of the root causes of high frequency adversarial examples. To test this hypothesis, we analyzed the impact of different choices of linear and nonlinear architectures on the implicit bias of the learned features and the adversarial perturbations, in both spatial and frequency domains. We find that the high-frequency adversarial perturbations are critically dependent on the convolution operation because the spatially-limited nature of local convolutions induces an implicit bias towards high frequency features. The explanation for the latter involves the Fourier Uncertainty Principle: a spatially-limited (local in the space domain) filter cannot also be frequency-limited (local in the frequency domain). Furthermore, using larger convolution kernel sizes or avoiding convolutions (e.g. by using Vision Transformers architecture) significantly reduces this high frequency bias, but not the overall susceptibility to attacks. Looking forward, our work strongly suggests that understanding and controlling the implicit bias of architectures will be essential for achieving adversarial robustness.

研究动机与目标

• 调查为何对抗样本尽管不可察觉，却主要由高频分量主导。
• 确定局部卷积的架构选择是否为这种高频偏向的根本原因。
• 检验卷积层隐式偏向（由空间局部性驱动）导致学习高频特征的假设。
• 探索架构替代方案（如视觉变换器和MLP）如何影响这种隐式偏向及对抗鲁棒性。
• 建立傅里叶不确定性原理与卷积模型中高频对抗扰动出现之间的关联。

提出的方法

• 作者通过对抗扰动的离散傅里叶变换，在空间域和频率域分析线性和非线性架构的隐式偏向。
• 他们使用Foolbox库计算PGD及其他攻击生成的对抗扰动的频率谱。
• 对于线性模型，他们利用托普利茨矩阵建模卷积操作，推导输入-输出权重变换，并在频率域计算隐式正则化。
• 对于非线性模型，他们使用显著性图作为权重的代理，以近似频率域中的隐式偏向。
• 他们引入频域中的类别特定快捷特征（通过掩码矩阵），以测试模型对高频分量的敏感性。
• 他们改变卷积核大小，并对比不同架构（CNN、MLP、视觉变换器），以隔离局部性对频率偏向的影响。

实验结果

研究问题

• RQ1 神经网络中使用局部卷积是否在频率域隐式偏向模型学习高频特征？
• RQ2 卷积核大小如何影响对抗扰动的频率成分？
• RQ3 将卷积替换为MLP或视觉变换器等架构选择，在多大程度上能减少对抗样本中的高频偏向？
• RQ4 对抗样本的高频特性是否主要源于架构的归纳偏置，而非数据集统计特性？
• RQ5 傅里叶不确定性原理能否解释卷积模型中高频对抗扰动的出现？

主要发现

• 卷积操作始终生成在高频波段能量更高的对抗扰动，相较于全连接或MLP风格架构。
• 随着卷积核尺寸减小，高频偏向增强，表明更强的空间局部性会放大频率偏向。
• 使用更大的卷积核，或用视觉变换器和MLP替代卷积，可显著降低对抗扰动中的高频成分。
• 对高频特征的隐式偏向由傅里叶不确定性原理解释：空间局部化的滤波器无法实现频率局部化，导致必须在两者之间权衡，从而偏向高频。
• 在傅里叶域中使用基于类别的频率快捷特征，可增强模型对高频分量的敏感性，验证了频率在对抗脆弱性中的作用。
• 非线性模型中的显著性图可作为权重基隐式偏向分析的可靠代理，使模型行为的频率域解释成为可能。