[论文解读] An Ode to an ODE

Krzysztof Choromański, Jared Quincy Davis+7 more|arXiv (Cornell University)|Jun 19, 2020

Model Reduction and Neural Networks参考文献 35被引用 5

一句话总结

该论文提出 ODEtoODE，一种新颖的神经微分方程（Neural ODE）框架，其中时间依赖参数通过正交群 O(d) 上的矩阵流演化，确保稳定性并消除梯度消失/爆炸问题。嵌套流机制保证了与网络深度无关的收敛性，并在强化学习与监督学习任务中提升了性能。

ABSTRACT

We present a new paradigm for Neural ODE algorithms, called ODEtoODE, where time-dependent parameters of the main flow evolve according to a matrix flow on the orthogonal group O(d). This nested system of two flows, where the parameter-flow is constrained to lie on the compact manifold, provides stability and effectiveness of training and provably solves the gradient vanishing-explosion problem which is intrinsically related to training deep neural network architectures such as Neural ODEs. Consequently, it leads to better downstream models, as we show on the example of training reinforcement learning policies with evolution strategies, and in the supervised learning setting, by comparing with previous SOTA baselines. We provide strong convergence results for our proposed mechanism that are independent of the depth of the network, supporting our empirical studies. Our results show an intriguing connection between the theory of deep neural networks and the field of matrix flows on compact manifolds.

研究动机与目标

• 为解决训练深层神经微分方程过程中梯度消失与爆炸的长期问题。
• 开发一种训练机制，确保无论网络深度如何，都能实现稳定优化。
• 建立深层神经网络与紧致流形上矩阵流之间理论基础的联系。
• 通过增强训练稳定性，提升强化学习与监督学习任务的下游性能。
• 为所提出的架构提供与网络深度无关的收敛性保证。

提出的方法

• 引入嵌套流架构，其中主神经微分方程的参数通过正交群 O(d) 上的矩阵流演化。
• 使用约束于紧致流形 O(d) 的矩阵微分方程建模参数演化过程。
• 通过矩阵流强制正交性，确保参数稳定性，防止参数无界增长。
• 利用 O(d) 的内在几何结构，自然地正则化参数动态并稳定梯度。
• 推导出整体系统与网络深度无关的理论收敛结果。
• 将该框架应用于强化学习（通过进化策略）与监督学习，以实证验证其有效性。

实验结果

研究问题

• RQ1 在神经微分方程中，正交群 O(d) 上的矩阵流能否稳定参数动态并防止梯度消失或爆炸？
• RQ2 ODEtoODE 中的嵌套流机制是否能确保与网络深度无关的收敛性？
• RQ3 在监督学习与强化学习设置中，ODEtoODE 与当前最先进基线方法相比表现如何？
• RQ4 针对 ODEtoODE 的训练动态，可推导出哪些理论保证？
• RQ5 深层神经网络训练与紧致流形（如 O(d)）上的矩阵流之间是否存在有意义的联系？

主要发现

• ODEtoODE 框架在训练深层神经微分方程时成功消除了梯度消失与爆炸问题。
• 已证明 ODEtoODE 的理论收敛结果与网络深度无关，支持其训练的鲁棒性。
• 实证结果表明，使用进化策略训练强化学习策略时，性能得到显著提升。
• 在监督学习中，ODEtoODE 的性能与之前最先进基线方法相比具有竞争力或更优。
• 该框架揭示了深层神经网络与紧致流形（如 O(d)）上矩阵流之间深刻的理论联系。
• 正交参数流确保了稳定且高效的训练，无需依赖启发式正则化技术。