[论文解读] Regularization in ResNet with Stochastic Depth

Soufiane Hayou, Fadhel Ayed|arXiv (Cornell University)|Dec 6, 2021

Neural Networks and Applications被引用 1

一句话总结

本文对残差网络（ResNets）中的随机深度（Stochastic Depth, SD）正则化进行了理论分析，结合微扰理论与信号传播机制，解释其正则化效果。文中推导出训练过程中设置存活率的合理准则，从而提升泛化性能与模型表现。

ABSTRACT

Regularization plays a major role in modern deep learning. From classic techniques such as L1,L2 penalties to other noise-based methods such as Dropout, regularization often yields better generalization properties by avoiding overfitting. Recently, Stochastic Depth (SD) has emerged as an alternative regularization technique for residual neural networks (ResNets) and has proven to boost the performance of ResNet on many tasks [Huang et al., 2016]. Despite the recent success of SD, little is known about this technique from a theoretical perspective. This paper provides a hybrid analysis combining perturbation analysis and signal propagation to shed light on different regularization effects of SD. Our analysis allows us to derive principled guidelines for choosing the survival rates used for training with SD.

研究动机与目标

• 理解随机深度（SD）正则化在残差网络（ResNets）中的理论机制。
• 通过信号传播与微扰理论分析SD对模型泛化的影响。
• 推导在SD训练过程中选择存活率的合理准则。
• 弥合随机深度在深度学习中经验成功与理论理解之间的鸿沟。

提出的方法

• 作者采用微扰分析，研究SD训练对网络权重更新与泛化性能的影响。
• 应用信号传播分析，考察在SD下激活信号在网络中的流动特性。
• 结合微扰与信号传播分析，刻画SD的正则化效应。
• 通过理论推导，建立存活率与ResNet训练稳定性及泛化能力之间的关系。
• 将该框架应用于推导残差块间最优存活率调度策略。
• 该方法提供了一种基于网络深度与层动态特性的、有理论依据的存活率选择方法。

实验结果

研究问题

• RQ1 从理论角度，随机深度如何对ResNet训练实现正则化？
• RQ2 存活率对带有SD的ResNets中信号传播与模型稳定性有何影响？
• RQ3 训练过程中随机深度引入的微扰效应如何影响泛化性能？
• RQ4 基于SD训练的存活率选择应遵循哪些合理准则？
• RQ5 信号传播与微扰分析能否共同解释SD在提升泛化能力方面的成功？

主要发现

• 随机深度通过在训练动态中引入受控微扰，实现对ResNet的正则化，从而提升泛化性能。
• 信号传播分析表明，当存活率选择得当时，SD可在残差块间维持稳定的梯度流动。
• 微扰分析显示，SD通过减弱单个残差路径的影响，降低过拟合风险。
• 推导出设置存活率的理论准则，其中深层残差块采用较高存活率以保持信号完整性。
• 该框架解释了SD在实践中表现优异的原因，并为存活率选择提供了坚实的理论基础。
• 结果表明，SD并非单纯的启发式方法，而是具有扎实的理论基础，其有效性根植于信号与微扰动力学机制。