[论文解读] An Effective Anti-Aliasing Approach for Residual Networks

Cristina Nader Vasconcelos, Hugo Larochelle+3 more|arXiv (Cornell University)|Nov 20, 2020

Adversarial Robustness in Machine Learning参考文献 16被引用 23

一句话总结

本文提出了一种针对残差网络的简单、非可训练的抗混叠技术，该技术在关键下采样位置（如步长大卷积、跳跃连接和初始池化层）插入模糊滤波器，同时结合平滑激活函数。该方法在 ImageNet-C 和 Meta-Dataset 上显著提升了分布外泛化能力，且未增加可训练参数，在 ImageNet-C 上实现了 64.9% 的最先进 mCE，在 Meta-Dataset 上实现了 3.75% 的绝对准确率提升。

ABSTRACT

Image pre-processing in the frequency domain has traditionally played a vital role in computer vision and was even part of the standard pipeline in the early days of deep learning. However, with the advent of large datasets, many practitioners concluded that this was unnecessary due to the belief that these priors can be learned from the data itself. Frequency aliasing is a phenomenon that may occur when sub-sampling any signal, such as an image or feature map, causing distortion in the sub-sampled output. We show that we can mitigate this effect by placing non-trainable blur filters and using smooth activation functions at key locations, particularly where networks lack the capacity to learn them. These simple architectural changes lead to substantial improvements in out-of-distribution generalization on both image classification under natural corruptions on ImageNet-C [10] and few-shot learning on Meta-Dataset [17], without introducing additional trainable parameters and using the default hyper-parameters of open source codebases.

研究动机与目标

• 探究在分布偏移（如自然损坏或少样本学习）下，频谱混叠是否会导致深度网络性能下降。
• 确定残差网络是否隐式学习抗混叠滤波器，或是否需要显式的架构干预。
• 评估抗混叠滤波器放置位置对模型性能的影响，特别是在空间支持有限的路径中。
• 将混叠效应与其他混淆因素（如感受野变化或梯度动态）分离。
• 开发一种轻量化、无参数的架构增强方法，以提升在多样化泛化设置下的鲁棒性。

提出的方法

• 在步长大卷积层、步长跳跃连接和初始最大池化层之后立即插入非可训练的高斯模糊滤波器，以抑制高频混叠。
• 使用如 Swish 或 GELU 等平滑激活函数，以改善梯度流动并减少低层特征图中的量化伪影。
• 在训练期间使用数据增强（如 RandAugment）以进一步提升鲁棒性，但排除与 ImageNet-C 损坏重叠的增强方法。
• 在 1×1 卷积缺乏空间支持的架构瓶颈处（如下采样后的残差跳跃连接）放置模糊滤波器。
• 通过消融研究隔离混叠抑制效果与感受野或反向传播动态变化的影响。
• 使用公开代码库中的默认超参数训练模型，以确保可复现性与实际适用性。

实验结果

研究问题

• RQ1 在 ImageNet-C 和 Meta-Dataset 等分布外基准上，频率混叠是否会导致残差网络性能下降？
• RQ2 残差网络是否能隐式学习抗混叠滤波器，还是必须依赖显式的架构干预？
• RQ3 抗混叠滤波器的放置位置如何影响性能，特别是在空间支持有限的路径中？
• RQ4 在标准训练范式下，网络是否会因训练激励而学习抗混叠滤波器，还是必须显式添加滤波？
• RQ5 能否将抗混叠效果与感受野变化或梯度动态等混淆因素分离？

主要发现

• 所提出的抗混叠方法仅通过架构修改和默认超参数，将 ImageNet-C 的 mCE 从 76.7% 降低至 70.0%。
• 该方法在 ImageNet 上实现了 21.2% 的干净 top-1 错误率，优于原始 ResNet-50 基线的 23.9%。
• 将模糊滤波器与平滑 GELU 激活函数结合，在 Meta-Dataset 上实现了平均 3.75% 的绝对准确率提升，其中分布外任务提升了 2.73%。
• 在跳跃连接、主干路径卷积和初始池化三个关键位置均放置模糊滤波器时，性能最佳。
• 完全移除首个步长大卷积（将步长 2 替换为步长 1）后，Meta-Dataset 准确率提升至 77.86%，优于仅使用模糊滤波器，表明下采样导致的信息损失是不可逆的。
• 该方法在所有测试设置中均一致提升了性能，且未降低干净准确率，在任何实验中均未导致性能下降。