[论文解读] Analyzing Stability of Convolutional Neural Networks in the Frequency Domain

Elnaz Jahani Heravi, Hamed Habibi Aghdam+1 more|arXiv (Cornell University)|Nov 10, 2015

Adversarial Robustness in Machine Learning参考文献 11被引用 3

一句话总结

本文提出通过使用滤波器傅里叶变换的4D可视化，在频域分析卷积神经网络（ConvNets），以解释其在难以察觉的噪声下的不稳定性。结果表明，具有广泛频率响应的滤波器会放大噪声，而通过在含噪数据上微调则可生成具有更集中频谱的滤波器，显著提升对加性高斯噪声的鲁棒性。

ABSTRACT

Understanding the internal process of ConvNets is commonly done using visualization techniques. However, these techniques do not usually provide a tool for estimating the stability of a ConvNet against noise. In this paper, we show how to analyze a ConvNet in the frequency domain using a 4-dimensional visualization technique. Using the frequency domain analysis, we show the reason that a ConvNet might be sensitive to a very low magnitude additive noise. Our experiments on a few ConvNets trained on different datasets revealed that convolution kernels of a trained ConvNet usually pass most of the frequencies and they are not able to effectively eliminate the effect of high frequencies. Our next experiments shows that a convolution kernel which has a more concentrated frequency response could be more stable. Finally, we show that fine-tuning a ConvNet using a training set augmented with noisy images can produce more stable ConvNets.

研究动机与目标

• 理解卷积神经网络为何对输入图像中微小且难以察觉的噪声敏感。
• 开发卷积滤波器的频域分析方法，以诊断不稳定性成因。
• 评估在含噪数据上训练是否能提升卷积神经网络对噪声的鲁棒性。
• 研究损失函数、激活函数和输入尺寸对稳定性的影响。
• 确定高斯平滑在不同噪声水平下是增强还是降低性能。

提出的方法

• 使用滤波器的2D傅里叶变换，将3D卷积滤波器可视化为4D频率响应。
• 计算多个卷积神经网络中第一层滤波器的平均功率谱，以比较其频率集中程度。
• 在原始数据集和含噪增强数据集上训练卷积神经网络，评估鲁棒性提升效果。
• 对含噪图像应用高斯平滑，并在不同信噪比下评估性能表现。
• 使用4D彩色映射可视化，对比微调前后滤波器的频率响应。
• 将滤波器的谱集中度与在含噪输入上的测试准确率相关联，以量化稳定性。

实验结果

研究问题

• RQ1 为何卷积神经网络对低幅度加性噪声敏感，尽管这些噪声对人类而言难以察觉？
• RQ2 卷积滤波器的频率响应如何影响其对噪声的鲁棒性？
• RQ3 在含噪训练数据上微调是否能生成具有更稳定频率响应的卷积神经网络？
• RQ4 高斯平滑是否根据噪声强度的高低而改善或降低卷积神经网络性能？
• RQ5 特定的损失函数或激活函数是否会导致滤波器产生更稳定的频率响应？

主要发现

• 在干净数据上训练的卷积神经网络表现出广泛的频率响应，导致高频噪声在网络中传播。
• 在含噪数据上微调后，第一层滤波器的平均谱响应变得更加局部化，表明其噪声抑制能力得到提升。
• 在含噪测试集上，通过含噪数据训练的卷积神经网络表现出显著的准确率提升，例如在CIFAR10数据集上，当σ=40时，铰链损失（hinge）的准确率从87.2%降至85.0%，而softplus变体则为83.7%。
• 高斯平滑仅在高信噪比图像上提升性能，当噪声较强时反而因中频分量衰减而损害干净图像的性能。
• 没有单一损失函数或激活函数能始终产生更稳定的滤波器；稳定性取决于滤波器的谱集中度。
• 频域分析表明，滤波器响应展宽是导致噪声敏感性的关键原因，而不仅仅是网络深度或架构所致。