[论文解读] Making Convolutional Networks Shift-Invariant Again

Richard Zhang|arXiv (Cornell University)|Apr 25, 2019

Graph Theory and Algorithms被引用 376

一句话总结

该论文提出基于模糊下采样（MaxBlurPool/MaxBlurDown）以提高CNN的平移不变性，产生更平滑的特征图，对空间平移的敏感性降低，并提升对基于平移的对抗攻击的鲁棒性。

ABSTRACT

Modern convolutional networks are not shift-invariant, as small input shifts or translations can cause drastic changes in the output. Commonly used downsampling methods, such as max-pooling, strided-convolution, and average-pooling, ignore the sampling theorem. The well-known signal processing fix is anti-aliasing by low-pass filtering before downsampling. However, simply inserting this module into deep networks degrades performance; as a result, it is seldomly used today. We show that when integrated correctly, it is compatible with existing architectural components, such as max-pooling and strided-convolution. We observe extit{increased accuracy} in ImageNet classification, across several commonly-used architectures, such as ResNet, DenseNet, and MobileNet, indicating effective regularization. Furthermore, we observe extit{better generalization}, in terms of stability and robustness to input corruptions. Our results demonstrate that this classical signal processing technique has been undeservingly overlooked in modern deep networks. Code and anti-aliased versions of popular networks are available at https://richzhang.github.io/antialiased-cnns/ .

研究动机与目标

• 激发卷积网络对平移不变性的需求，并识别标准池化的局限性。
• 分析基于模糊的下采样层如何影响学习到的卷积滤波器。
• 提出并评估使用不同模糊核的 MaxBlurPool/MaxBlurDown 方法。
• 评估对因平移引起的性能下降以及对抗鲁棒性的影响。

提出的方法

• 引入基于最大模糊的下采样以促进更平滑的特征图。
• 在池化/下采样之前使用不同尺寸的二项式样模糊核（例如 Bin-4、Bin-5、Bin-7）。
• 在各层中使用归一化的总变化量（TV）来量化滤波器的平滑度。
• 在空 间平移下，以及有/无数据增强情况下评估分类准确性。
• 通过在被平移的输入窗口上测量性能来测试对基于平移的对手攻击的鲁棒性。

实验结果

研究问题

• RQ1 使用所提出的基于模糊的下采样时，学习到的卷积滤波器如何变化？
• RQ2 用该层进行训练是否会产生更平滑的特征提取器并降低对空间平移的敏感性？
• RQ3 相较基线池化，准确率如何随着空间平移的增大而下降？
• RQ4 该方法是否提升了对基于平移的对抗攻击的鲁棒性？

主要发现

• MaxBlurPool/Down 产生的学习滤波器更平滑（总变差更低）相比基线 MaxPool。
• 在使用更强的模糊滤镜（例如 Bin-7）时，分类准确性对空间平移的下降更小。
• 随着模糊核尺寸增大，输出类别概率在平移上的变化减小，降低对输入位置的敏感性。
• 更强的模糊过滤提高了对基于平移的对手攻击的鲁棒性，有时甚至优于增加数据增强的基线。
• 结果证实基于模糊的下采样在保持准确性的同时提升了平移不变性和鲁棒性。