[论文解读] High Frequency Component Helps Explain the Generalization of Convolutional Neural Networks

Haohan Wang, Xindi Wu+2 more|arXiv (Cornell University)|May 28, 2019

Adversarial Robustness in Machine Learning参考文献 69被引用 43

一句话总结

论文表明 CNN 能利用人类无法感知的高频图像分量，解释了泛化、鲁棒性-准确度权衡、对抗性脆弱性，以及训练启发式方法的影响；它还提出了基于简单平滑的防御方法。

ABSTRACT

We investigate the relationship between the frequency spectrum of image data and the generalization behavior of convolutional neural networks (CNN). We first notice CNN's ability in capturing the high-frequency components of images. These high-frequency components are almost imperceptible to a human. Thus the observation leads to multiple hypotheses that are related to the generalization behaviors of CNN, including a potential explanation for adversarial examples, a discussion of CNN's trade-off between robustness and accuracy, and some evidence in understanding training heuristics.

研究动机与目标

• 研究图像的频谱与 CNN 泛化之间的关系。
• 从频率角度解释为何 CNN 能记住打乱标签并表现出对抗性脆弱性。
• 检查常见训练启发式方法如何影响对高频分量的依赖。
• 提出在不进行大量再训练的情况下提升对抗鲁棒性的简单方法。

提出的方法

• 使用半径 r 的基于傅里叶的阈值函数，将输入图像分解为低频分量（LFC）和高频分量（HFC）。
• 正式化一个模型理论框架，展示 CNN 可能除了人类感知的 LFC 外还依赖 HFC（注释 1）。
• 给出一个权衡结果（推论 1），在 HFC 驱动的表示下将准确性与鲁棒性联系起来。
• 在 CIFAR-10（以及附录中的其他数据集）上进行受控实验，比较原标签与打乱标签的训练，并在不同 r 值下用 LFC/HFC 输入进行测试。
• 分析训练启发式方法（BatchNorm、Mixup、Dropout、对抗训练）对 LFC/HFC 用法与鲁棒性的影响。
• 探索核平滑概念（第一层卷积核）作为提升鲁棒性的杠杆（第六节）。

实验结果

研究问题

• RQ1 输入图像的频谱如何影响 CNN 的泛化和对抗性易感性？
• RQ2 为什么 CNN 会记住标签被打乱的数据，这与 LFC 与 HFC 信号有何关系？
• RQ3 常见训练启发式方法对模型对高频分量的依赖有何影响？
• RQ4 简单的核平滑是否能在不显著降低准确率的情况下提升对抗鲁棒性？
• RQ5 观察到的基于频率的现象是否扩展到目标检测等超出图像分类的任务？

主要发现

• CNN 可以依赖人类无法感知的高频分量，以非直观的方式促成泛化。
• 在准确性与鲁棒性之间存在权衡：利用 HFC 的模型可能更准确但对对抗性扰动的鲁棒性较差（推论 1）。
• LFC 往往比 HFC 更具泛化性，帮助解释为何用原标签训练的模型更偏好 LFC 信号。
• 训练启发式方法如 Mixup 与 BatchNorm 倾向于增加对 HFC 的依赖，影响鲁棒性；对抗训练倾向于减少对 HFC 的依赖并提高鲁棒性，但在准确性上会有一定代价。
• 对抗鲁棒的模型往往具有更平滑的第一层核，简单的核平滑操作在一定代价下可以适度提升鲁棒性。
• 频率视角在目标检测中也揭示了类似现象，对低频输入和高频输入有不同影响。