[论文解读] m-RevNet: Deep Reversible Neural Networks with Momentum

Duo Li, Shanghua Gao|arXiv (Cornell University)|Aug 12, 2021

Advanced Neural Network Applications参考文献 39被引用 4

一句话总结

本文提出 m-RevNet，一种新颖的可逆神经网络，通过将动量引入残差块，并利用二阶常微分方程（ODE）对网络结构进行建模。通过结合可逆动力学与动量机制，m-RevNet 在内存效率和性能方面均优于 ResNet，尤其在标准 ResNet 失败的困难学习场景中表现更优。

ABSTRACT

In recent years, the connections between deep residual networks and first-order Ordinary Differential Equations (ODEs) have been disclosed. In this work, we further bridge the deep neural architecture design with the second-order ODEs and propose a novel reversible neural network, termed as m-RevNet, that is characterized by inserting momentum update to residual blocks. The reversible property allows us to perform backward pass without access to activation values of the forward pass, greatly relieving the storage burden during training. Furthermore, the theoretical foundation based on second-order ODEs grants m-RevNet with stronger representational power than vanilla residual networks, which potentially explains its performance gains. For certain learning scenarios, we analytically and empirically reveal that our m-RevNet succeeds while standard ResNet fails. Comprehensive experiments on various image classification and semantic segmentation benchmarks demonstrate the superiority of our m-RevNet over ResNet, concerning both memory efficiency and recognition performance.

研究动机与目标

• 将深度神经网络设计与二阶 ODE 相结合，以提升表征能力。
• 通过实现反向传播过程中无需存储激活值，解决训练深层网络时的高内存消耗问题。
• 开发一种可逆架构，使其在标准 ResNet 失败的学习场景中仍能保持优异性能。
• 从理论与实证两方面验证在残差块中引入动量的优势。

提出的方法

• 使用二阶 ODE 建模残差块的动力学，以将动量融入网络隐藏状态的演化过程。
• 设计一种可逆架构，使得前向传播过程可逆，从而在反向传播中无需存储中间激活值。
• 在残差块的更新规则中引入动量项，其来源于二阶 ODE 的公式推导。
• 通过结构化设计确保变换的可逆性，使得每个模块的输出可精确地从输入通过学习到的逆映射恢复。
• 采用与可逆 ODE 求解器兼容的离散化方案，实现网络的端到端训练。
• 将网络设计为隐藏状态演化由二阶动力系统控制，从而在表征动态上优于 ResNet 中的一阶 ODE。

实验结果

研究问题

• RQ1 通过二阶 ODE 建模残差块并引入动量，是否能相比一阶 ODE 的 ResNet 提升表征能力？
• RQ2 在可逆网络架构中整合动量，是否能提升在标准 ResNet 失败的困难学习任务上的性能？
• RQ3 与标准 ResNet 相比，m-RevNet 的可逆特性在训练过程中在多大程度上降低了内存消耗？
• RQ4 基于二阶 ODE 的理论基础，如何解释 m-RevNet 的实证性能提升？

主要发现

• m-RevNet 在多个图像分类基准（包括 CIFAR-10、CIFAR-100 和 ImageNet）上均取得了高于 ResNet 的准确率。
• 该模型在语义分割任务中表现出色，优于 ResNet 同时保持低内存占用。
• 在某些学习场景中，m-RevNet 能够成功训练并收敛，而标准 ResNet 则无法有效学习。
• m-RevNet 的可逆架构通过避免存储中间激活值，实现了高效的内存训练。
• 理论分析证实，二阶 ODE 公式赋予 m-RevNet 比基于一阶 ODE 的 ResNet 更强的表征能力。
• 实证结果验证了动量整合能有效改善优化动力学，尤其在深层网络中表现显著。