[論文レビュー] An Ode to an ODE

Krzysztof Choromański, Jared Quincy Davis+7 more|arXiv (Cornell University)|Jun 19, 2020

Model Reduction and Neural Networks参考文献 35被引用数 5

ひとこと要約

本稿では、時間に依存するパラメータが直交群 O(d) 上の行列フローによって進化する新しいニューラルODEフレームワーク、ODEtoODEを紹介する。このアプローチにより、安定性が保証され、勾配消失・爆発が解消される。ネストされたフロー機構により、ネットワークの深さに依存しない収束性が保証され、強化学習および教師あり学習タスクにおける性能が向上する。

ABSTRACT

We present a new paradigm for Neural ODE algorithms, called ODEtoODE, where time-dependent parameters of the main flow evolve according to a matrix flow on the orthogonal group O(d). This nested system of two flows, where the parameter-flow is constrained to lie on the compact manifold, provides stability and effectiveness of training and provably solves the gradient vanishing-explosion problem which is intrinsically related to training deep neural network architectures such as Neural ODEs. Consequently, it leads to better downstream models, as we show on the example of training reinforcement learning policies with evolution strategies, and in the supervised learning setting, by comparing with previous SOTA baselines. We provide strong convergence results for our proposed mechanism that are independent of the depth of the network, supporting our empirical studies. Our results show an intriguing connection between the theory of deep neural networks and the field of matrix flows on compact manifolds.

研究の動機と目的

• 深層ニューラルODEの学習において、長年の問題である勾配消失・爆発を解消すること。
• ネットワークの深さに依存しない安定な最適化を保証する学習メカニズムの開発。
• 深層ニューラルネットワークとコンact多様体上での行列フローの間の理論的基盤を確立すること。
• より安定な学習を実現することで、強化学習および教師あり学習タスクにおける下流の性能を向上させること。
• 提案アーキテクチャに対して、ネットワークの深さに依存しない収束保証を提供すること。

提案手法

• 主なニューラルODEのパラメータが直交群 O(d) 上の行列フローによって進化するネストされたフロー構造を導入する。
• パラメータの進化を、コンact多様体 O(d) に制約された行列微分方程式でモデル化する。
• 行列フローによる直交性の強制により、パラメータの有界な成長を防ぎ、パラメータの安定性を確保する。
• O(d) の内在的幾何学を活用して、自然にパラメータダイナミクスを正則化し、勾配を安定化する。
• ネットワークの深さに依存しない、全体のシステムに対する理論的収束結果を導出する。
• 実証的妥当性の確認のため、進化戦略を用いた強化学習および教師あり学習の両方の分野にフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 直交群 O(d) 上の行列フローは、ニューラルODEにおけるパラメータダイナミクスを安定化させ、勾配消失・爆発を防げるか？
• RQ2 ODEtoODEにおけるネストされたフロー機構は、ネットワークの深さに依存しない収束を保証するか？
• RQ3 ODEtoODEは、教師あり学習および強化学習の設定において、最先端のベースラインと比較して優れた性能を示すか？
• RQ4 ODEtoODEの学習ダイナミクスに対して、どのような理論的保証を導出できるか？
• RQ5 深層ニューラルネットワークの学習と、コンパクト多様体上での行列フローの間に意味のある関係が存在するか？

主な発見

• ODEtoODEフレームワークは、深層ニューラルODEの学習中に勾配消失・爆発を明確に解消した。
• ODEtoODEの理論的収束結果は、ネットワークの深さに依存しないことが証明され、安定な学習を支援する。
• 実験的結果から、進化戦略を用いた強化学習ポリシーの学習において、性能が向上した。
• 教師あり学習において、ODEtoODEは、以前の最先端のベースラインと比較して、同等または優れた結果を達成した。
• このフレームワークは、深層ニューラルネットワークと、O(d) などのコンパクト多様体上での行列フローとの間に深い理論的関連性を明らかにした。
• 直交パラメータフローにより、ヒューリスティックな正則化技術を用いずに、安定で効果的な学習が可能となった。