[论文解读] Reversible Architectures for Arbitrarily Deep Residual Neural Networks

Bo Chang, Lili Meng+4 more|arXiv (Cornell University)|Sep 12, 2017

Model Reduction and Neural Networks参考文献 42被引用 71

一句话总结

该论文提出了三种稳定且可逆的深度 ResNet 结构，受常微分方程启发，能够在对数据有限的情况下保持竞争力的准确性与对鲁棒性，同时实现对任意深度网络的内存高效训练。

ABSTRACT

Recently, deep residual networks have been successfully applied in many computer vision and natural language processing tasks, pushing the state-of-the-art performance with deeper and wider architectures. In this work, we interpret deep residual networks as ordinary differential equations (ODEs), which have long been studied in mathematics and physics with rich theoretical and empirical success. From this interpretation, we develop a theoretical framework on stability and reversibility of deep neural networks, and derive three reversible neural network architectures that can go arbitrarily deep in theory. The reversibility property allows a memory-efficient implementation, which does not need to store the activations for most hidden layers. Together with the stability of our architectures, this enables training deeper networks using only modest computational resources. We provide both theoretical analyses and empirical results. Experimental results demonstrate the efficacy of our architectures against several strong baselines on CIFAR-10, CIFAR-100 and STL-10 with superior or on-par state-of-the-art performance. Furthermore, we show our architectures yield superior results when trained using fewer training data.

研究动机与目标

• 动机并形式化深度 ResNets 与常微分方程之间的联系，以研究稳定性和可逆性。
• 开发三种具有稳定前向传播的可逆架构，使在有限资源下能够训练非常深的网络。
• 引入正则化以偏好学习模型中时间动力学的平滑。
• 在 CIFAR-10、CIFAR-100 和 STL-10 上证明其实证有效性，包括在数据有限的训练场景。

提出的方法

• 将 ResNets 解释为离散化的 ODE，并通过雅可比矩阵特征值分析前向稳定性，以确保实部为非正。
• 提出三种可逆架构：两层哈密顿网络、MidPoint 网络和 Leapfrog 网络，每种都具有特定的离散化方式（Verlet 类、中心差分等）。
• 确保可逆性，以便在反向传播过程中重构激活，从而实现内存效率。
• 提供一个正则化泛函，强制时变核 Kin 的时间动力学平滑并促进泛化。
• 展示对极深网络（例如 1202 层）的内存效率和可训练性，并在标准基准上与 ResNet 与 RevNet 进行比较。

实验结果

研究问题

• RQ1 能否将 ResNet 型架构转化为稳定、可逆的动力系统，以实现任意深度的网络？
• RQ2 哈密顿、MidPoint 和 Leapfrog 启发的块在图像分类任务中是否在实践中提供稳定性和可逆性？
• RQ3 在 CIFAR-10、CIFAR-100 和 STL-10 上，相对于 ResNet 和 RevNet，这些可逆架构的表现如何，尤其是在训练数据有限的情况下？
• RQ4 提出的正则化是否通过促进网络参数的时间动态平滑来提升泛化能力？
• RQ5 是否可以在适度内存下训练极深的网络，训练是否对深度鲁棒？

主要发现

• 三种可逆架构实现了前向传播的稳定性，特征值为虚部的雅可比特征值，从而实现内存高效的反向传播。
• 三者在 CIFAR-10、CIFAR-100 和 STL-10 上的准确率与最先进基线相当，STL-10 相对于基线有显著提升。
• 哈密顿网络及其变体在训练数据有限时相较于 ResNet 展示出鲁棒性和更好的性能。
• 1202 层哈密顿网络在参数量只有同深度 ResNet 一半的情况下可训练，同时保持或超过精度，说明内存与优化稳定性的优势。
• 在某些配置下，STL-10 的结果显示所提方法在一些配置上比基准方法高出约十个百分点。
• 在数据子采样的实验中，稳定架构在有标签数据稀少时的泛化能力优于 ResNet。