[论文解读] Measuring the tendency of CNNs to Learn Surface Statistical Regularities

Jason Jo, Yoshua Bengio|arXiv (Cornell University)|Nov 30, 2017

Adversarial Robustness in Machine Learning参考文献 41被引用 193

一句话总结

论文表明深度卷积神经网络通过利用表面的傅里叶统计量而不是高层抽象来实现良好的泛化，这一点通过对 SVHN 和 CIFAR-10 数据集进行傅里叶过滤的实验和显著的泛化差距得到证明。网络深度对缓解差距帮助有限，但完全增强的数据训练可以减少差距。

ABSTRACT

Deep CNNs are known to exhibit the following peculiarity: on the one hand they generalize extremely well to a test set, while on the other hand they are extremely sensitive to so-called adversarial perturbations. The extreme sensitivity of high performance CNNs to adversarial examples casts serious doubt that these networks are learning high level abstractions in the dataset. We are concerned with the following question: How can a deep CNN that does not learn any high level semantics of the dataset manage to generalize so well? The goal of this article is to measure the tendency of CNNs to learn surface statistical regularities of the dataset. To this end, we use Fourier filtering to construct datasets which share the exact same high level abstractions but exhibit qualitatively different surface statistical regularities. For the SVHN and CIFAR-10 datasets, we present two Fourier filtered variants: a low frequency variant and a randomly filtered variant. Each of the Fourier filtering schemes is tuned to preserve the recognizability of the objects. Our main finding is that CNNs exhibit a tendency to latch onto the Fourier image statistics of the training dataset, sometimes exhibiting up to a 28% generalization gap across the various test sets. Moreover, we observe that significantly increasing the depth of a network has a very marginal impact on closing the aforementioned generalization gap. Thus we provide quantitative evidence supporting the hypothesis that deep CNNs tend to learn surface statistical regularities in the dataset rather than higher-level abstract concepts.

研究动机与目标

• 通过检验对表面统计量的依赖来说明尽管存在对抗性敏感性，CNNs 仍能良好泛化的原因。
• 提出一种通过傅里叶过滤实现的扰动映射，保持可识别性同时改变表层图像统计。
• 定量衡量在未过滤数据与傅里叶过滤数据之间训练得到的泛化差距，在不同测试分布下进行比较。
• 评估增加网络深度或数据增强是否能弥合泛化差距，并讨论对学习高层抽象的意义。

提出的方法

• 定义两种傅里叶过滤方案（径向掩模和均匀随机掩模），在改变图像统计的同时保持对象可识别性。
• 对数据集图像应用傅里叶变换，屏蔽高频或随机傅立叶系数，并重建滤波后的数据集。
• 在未过滤、径向过滤或随机过滤的训练集上训练高性能 CNN（Preact-ResNet-92/200），并在未过滤、径向过滤和随机过滤的测试集上评估。
• 将泛化差距测量为跨测试分布的准确率最大差异。
• 用完整的过滤与未过滤数据集进行数据增强，以分析对泛化差距的影响。

实验结果

研究问题

• RQ1 在一个傅里叶过滤分布上训练的 CNN 是否能很好地泛化到具有不同傅里叶统计但可识别性保持的其他分布？
• RQ2 深度（92 层对 200 层）的增加如何影响克服由表面统计变化引起的泛化差距的能力？
• RQ3 完全增强的训练能否缓解但不能完全解决对表面统计的依赖，即走向真正的抽象学习的路径？
• RQ4 径向过滤与随机傅里叶过滤在推动跨数据集（SVHN、CIFAR-10）的泛化差距方面起到怎样的作用？

主要发现

• 在未过滤数据上训练的 CNN 在对径向过滤或随机过滤数据进行测试时，显示出非平凡的泛化差距（最高约 28%）。
• CNN 深度（从 92 层到 200 层）对缩小这些泛化差距的影响有限。
• 径向过滤通常比随机过滤产生的差距更小；数据增强可以减小差距但并不总是能消除。
• 在傅里叶过滤数据上训练的 CNN 仍然对未过滤的测试具有相当好的泛化能力（大约在最佳未过滤准确率的 1-2% 内）。
• 通过将所有傅里叶过滤和未过滤数据都纳入数据增强可以改善差距，但不太可能实现真正的高层抽象学习。