[论文解读] Towards Robust ResNet: A Small Step but A Giant Leap

Jingfeng Zhang, Bo Han+3 more|arXiv (Cornell University)|Feb 28, 2019

Generative Adversarial Networks and Image Synthesis参考文献 23被引用 13

一句话总结

本文提出了一种基于动力系统视角的系统性方法，通过显式欧拉法建模残差网络，引入可调步长因子 $ h $，以提升ResNet的鲁棒性。较小的 $ h $ 通过平滑特征变换，同时增强了训练稳定性和泛化鲁棒性。实验结果表明，该方法在视觉和文本数据集上均表现出一致的性能提升，尤其在噪声数据和深层网络中效果显著。

ABSTRACT

This paper presents a simple yet principled approach to boosting the robustness of the residual network (ResNet) that is motivated by the dynamical system perspective. Namely, a deep neural network can be interpreted using a partial differential equation, which naturally inspires us to characterize ResNet by an explicit Euler method. Our analytical studies reveal that the step factor h in the Euler method is able to control the robustness of ResNet in both its training and generalization. Specifically, we prove that a small step factor h can benefit the training robustness for back-propagation; from the view of forward-propagation, a small h can aid in the robustness of the model generalization. A comprehensive empirical evaluation on both vision CIFAR-10 and text AG-NEWS datasets confirms that a small h aids both the training and generalization robustness.

研究动机与目标

• 为解决极深ResNet训练中的不稳定性问题，特别是尽管使用批量归一化，早期训练中梯度爆炸的问题。
• 在输入数据存在噪声（如带马赛克的图像或拼写错误的文本）的情况下，提升模型的泛化鲁棒性。
• 提供一种无需改变网络结构或大规模调整超参数的、理论基础扎实的鲁棒性增强方法。
• 通过显式欧拉法建立深度学习与动力系统之间的联系，使 $ h $ 能够控制特征变换的平滑度。

提出的方法

• 将ResNet建模为使用显式欧拉法的离散动力系统，其中每个残差块对应一个时间步，步长为 $ h $。
• 将残差块更新 $ \mathbf{x}_{n+1} = \mathbf{x}_n + h \cdot \mathcal{F}(\mathbf{x}_n) $ 解释为数值积分步骤，其中 $ h $ 控制变换的幅度。
• 理论上证明：较小的 $ h $ 可通过稳定反向传播中的梯度，提升训练鲁棒性；并通过限制前向传播中噪声的放大，提升泛化鲁棒性。
• 在CIFAR-10和AG-NEWS数据集上，对不同噪声水平和网络深度下 $ h $ 的变化进行实证评估。
• 在 $ h \in [0.001, 20] $ 范围内进行网格搜索以确定最优值，并通过极端 $ h $ 值的消融实验评估其权衡。
• 使用批量归一化和标准训练协议，仅调整 $ h $ 以隔离其对鲁棒性和性能方差的影响。

实验结果

研究问题

• RQ1 在基于欧拉法的ResNet公式中，较小的步长因子 $ h $ 是否能通过稳定梯度流动来提升训练鲁棒性？
• RQ2 降低 $ h $ 是否能减轻前向传播中的噪声放大，从而在噪声输入上实现更好的泛化？
• RQ3 不同网络深度下的最优 $ h $ 范围是什么？它如何影响训练稳定性和性能方差？
• RQ4 在使用批量归一化的情况下，$ h $ 与其他超参数相比，对鲁棒性的影响如何？
• RQ5 一种理论基础扎实、可调节 $ h $ 的系统性方法，是否能在不改变网络结构的前提下，优于标准ResNet？

主要发现

• 当 $ h = 0.1 $ 时，在深层ResNet（如CIFAR-10上的ResNet-218）中，训练鲁棒性得到一致提升，训练方差降低，且能有效防止不稳定现象。
• 在泛化鲁棒性方面，$ h = 0.1 $ 的ResNet在噪声输入下优于标准ResNet（$ h = 1.0 $），尤其在高噪声水平下表现更优，且测试准确率方差更低。
• 当 $ h \geq 5 $ 时，训练变得不稳定，且在深层网络（如ResNet-110）中常导致失败，表明存在一个关键的稳定性阈值。
• 过小的 $ h $（如 $ h = 0.001 $）会因特征变换过度平滑而降低泛化性能，证实了平滑度存在权衡。
• 最优 $ h $ 与网络深度相关：更深的网络（如ResNet-218）从更小的 $ h $（接近0.1）中获益最多，而较浅的网络（如ResNet-20）可容忍更大的 $ h $（最高达2.0）。
• 在AG-NEWS数据集中，ResNet-49的最优 $ h $ 为0.3，ResNet-17的最优 $ h $ 为0.5；当 $ h \geq 0.8 $ 时，5次训练中有3次失败。