[论文解读] Continuous-in-Depth Neural Networks

Alejandro F. Queiruga, N. Benjamin Erichson+2 more|arXiv (Cornell University)|Aug 5, 2020

Advanced Neural Network Applications参考文献 89被引用 26

一句话总结

本文提出 ContinuousNet，一种连续深度的神经网络架构，通过将残差网络嵌入到如 Runge-Kutta 方法等高阶数值积分格式中，实现对深度和积分格式的不变性。该方法通过分阶段深度优化与模型压缩，提升了训练效率与推理速度，同时借助连续动力系统的平滑性与稳定性保持了模型精度。

ABSTRACT

Recent work has attempted to interpret residual networks (ResNets) as one step of a forward Euler discretization of an ordinary differential equation, focusing mainly on syntactic algebraic similarities between the two systems. Discrete dynamical integrators of continuous dynamical systems, however, have a much richer structure. We first show that ResNets fail to be meaningful dynamical integrators in this richer sense. We then demonstrate that neural network models can learn to represent continuous dynamical systems, with this richer structure and properties, by embedding them into higher-order numerical integration schemes, such as the Runge Kutta schemes. Based on these insights, we introduce ContinuousNet as a continuous-in-depth generalization of ResNet architectures. ContinuousNets exhibit an invariance to the particular computational graph manifestation. That is, the continuous-in-depth model can be evaluated with different discrete time step sizes, which changes the number of layers, and different numerical integration schemes, which changes the graph connectivity. We show that this can be used to develop an incremental-in-depth training scheme that improves model quality, while significantly decreasing training time. We also show that, once trained, the number of units in the computational graph can even be decreased, for faster inference with little-to-no accuracy drop.

研究动机与目标

• 解决 ResNets 作为连续动力系统真实数值积分器时的局限性。
• 开发一种对计算图表现形式不变的神经网络架构，支持灵活选择深度与积分格式。
• 通过分阶段深度训练与模型压缩，在无需微调的情况下提升训练效率与推理速度。
• 建立深度学习与数值积分理论之间的原则性联系，超越表面的代数类比。
• 通过高阶积分器提供的归纳偏置，实现鲁棒且可泛化的模型。

提出的方法

• 将残差网络嵌入到高阶数值积分格式中，如显式 Runge-Kutta 方法，以确保模型行为符合连续动力系统的真实数值积分。
• 将 ContinuousNet 定义为 ResNets 的连续深度泛化形式，其中网络被解释为通过数值积分近似得到的连续轨迹。
• 利用网格细化技术在训练期间逐步增加网络深度，在推理阶段减少深度，无需重新训练。
• 利用表现形式不变性：相同的已学习连续动力系统可使用不同的时间步长与积分格式进行评估。
• 应用分段常数基函数以恢复标准 ResNet 行为，同时支持向更高阶格式的泛化。
• 利用数值分析工具确保稳定性与平滑性，从而提升对超参数选择与分布偏移的鲁棒性。

实验结果

研究问题

• RQ1 ResNet 中的残差单元与数值积分中的前向欧拉法步长之间有何对应关系？这种对应关系是否足以支持对动力系统的有意义解释？
• RQ2 高阶数值积分器（如 Runge-Kutta 格式）是否能为将深度神经网络解释为连续动力系统提供更精确、更稳定的理解？
• RQ3 将神经网络嵌入高阶积分器是否能提升模型的鲁棒性、泛化能力与训练效率？
• RQ4 是否可以实现无需性能损失的连续深度模型增量训练与推理阶段压缩？
• RQ5 表现形式不变性（即对深度与积分格式的不变性）如何提升训练与部署的灵活性？

主要发现

• ContinuousNet 模型表现出表现形式不变性，可在不重新训练的情况下使用不同的时间步长与积分格式进行评估。
• 在训练过程中可逐步增加网络深度，从而提升收敛速度并减少训练时间。
• 训练完成后，可减少网络单元数量以实现更快的推理，且精度下降极小，支持高效部署。
• ContinuousNets 在测试精度上与标准 ResNets 相当，同时对超参数选择与分布偏移更具鲁棒性。
• 如 Runge-Kutta 等高阶积分器提供了更强的归纳偏置，相比基于前向欧拉法的模型，能更稳定地训练并提升泛化能力。
• 该框架支持高效的超参数搜索，且非常适合量化与压缩，显示出在边缘设备部署中的强大潜力。