[论文解读] A Fourier Perspective on Model Robustness in Computer Vision

Dong Yin, Raphael Gontijo Lopes+3 more|arXiv (Cornell University)|Jun 21, 2019

Adversarial Robustness in Machine Learning参考文献 24被引用 84

一句话总结

本文使用傅里叶分析来解释数据增强和对抗性训练带来的鲁棒性权衡，展示这些方法如何使模型偏向低频特征，并展示 AutoAugment 在 CIFAR-10-C 与 ImageNet-C 上的强鲁棒性提升。

ABSTRACT

Achieving robustness to distributional shift is a longstanding and challenging goal of computer vision. Data augmentation is a commonly used approach for improving robustness, however robustness gains are typically not uniform across corruption types. Indeed increasing performance in the presence of random noise is often met with reduced performance on other corruptions such as contrast change. Understanding when and why these sorts of trade-offs occur is a crucial step towards mitigating them. Towards this end, we investigate recently observed trade-offs caused by Gaussian data augmentation and adversarial training. We find that both methods improve robustness to corruptions that are concentrated in the high frequency domain while reducing robustness to corruptions that are concentrated in the low frequency domain. This suggests that one way to mitigate these trade-offs via data augmentation is to use a more diverse set of augmentations. Towards this end we observe that AutoAugment, a recently proposed data augmentation policy optimized for clean accuracy, achieves state-of-the-art robustness on the CIFAR-10-C benchmark.

研究动机与目标

• 研究分布偏移如何影响视觉领域中模型的鲁棒性，聚焦于损坏的频率成分。
• 解释常见数据增强调和对抗性训练所带来的鲁棒性权衡。
• 描述数据增强偏差如何影响对高频与低频输入特征的依赖。
• 评估替代的增强策略（AutoAugment）在提高对不同损坏的鲁棒性方面的效果。

提出的方法

• 定义并对图像和损坏应用二维傅里叶变换。
• 使用高通/低通滤波和傅里叶基扰动来创建特定频率的扰动。
• 在损坏基准上对自然训练、高斯增强、对抗性训练和 AutoAugment 模型进行比较。
• 通过测试准确率和损坏误差指标（mCE）在 CIFAR-10-C 和 ImageNet-C 上量化鲁棒性。
• 在傅里叶域分析对抗扰动，以理解攻击中的频率组成。

实验结果

研究问题

• RQ1 高斯数据增强和对抗性训练如何影响模型对不同频率损坏的鲁棒性？
• RQ2 基于频率的视角是否能解释在高频与低频损坏之间观察到的鲁棒性权衡？
• RQ3 更丰富的增强策略（AutoAugment）是否比单一策略的增强在鲁棒性方面具有更广泛的提升？
• RQ4 自然训练和对抗性训练模型的对抗扰动在频率上的行为是怎样的？

主要发现

• 高斯增强和对抗性训练将模型偏向低频信息，提升对高频损坏的鲁棒性，但损害对低频损坏和清洁准确性的鲁棒性。
• 低频和高频扰动揭示不同模型之间的鲁棒性模式；前端滤波证实了频率偏向效应。
• AutoAugment 在 CIFAR-10-C 上实现了最佳的平均损坏准确度，并获得最佳的 mCE，在大多数损坏情形中超越自然训练、高斯增强和对抗性训练。
• 自然训练模型的对抗扰动集中在高频区域，而对抗性训练模型在扰动的频率上与自然数据相似。
• 高频内容扰动在保持内容的傅里叶基攻击下可能灾难性地降低准确性，揭示了与安全相关的脆弱性。
• 不存在普遍的基于频率的鲁棒性迁移预测指标；某些低频增强在去雾/对比度鲁棒性方面会下降，尽管提高了附加噪声鲁棒性。