[論文レビュー] How to train your neural ODE: the world of Jacobian and kinetic regularization

Chris Finlay, Jörn-Henrik Jacobsen+2 more|arXiv (Cornell University)|Feb 7, 2020

Model Reduction and Neural Networks参考文献 29被引用数 76

ひとこと要約

RNODE はニューラルODEに2つの正則化項（動的エネルギーとヤコビアン Frobenius ノルム）を導入し、より単純で規則的なダイナミクスを促進することで訓練を高速化しますが、性能を損なうことはありません。

ABSTRACT

Training neural ODEs on large datasets has not been tractable due to the necessity of allowing the adaptive numerical ODE solver to refine its step size to very small values. In practice this leads to dynamics equivalent to many hundreds or even thousands of layers. In this paper, we overcome this apparent difficulty by introducing a theoretically-grounded combination of both optimal transport and stability regularizations which encourage neural ODEs to prefer simpler dynamics out of all the dynamics that solve a problem well. Simpler dynamics lead to faster convergence and to fewer discretizations of the solver, considerably decreasing wall-clock time without loss in performance. Our approach allows us to train neural ODE-based generative models to the same performance as the unregularized dynamics, with significant reductions in training time. This brings neural ODEs closer to practical relevance in large-scale applications.

研究の動機と目的

• 適応ソルバーと深い離散化によるニューラルODEの大規模データセットでの訓練の難しさを動機づける。
• より単純で良好に振る舞うダイナミクスを促進する、理論的に根拠のある正則化項を提案する。
• 正則化がニューラルODEベースの生成モデルの訓練を性能を損なうことなく高速化することを実証する。

提案手法

• 最適輸送と流れの正則性に由来する2つの正則化項を導入する：流れの運動エネルギーとヤコビアンの Frobenius ノルム。
• FFJORD の連続正規化フローに、運動エネルギーとヤコビアンコストを追跡する追加の状態変数を介してこれらのペナルティを加える。
• 発散とヤコビアン項をモンテカルロトレース推定で推定し、スケーラブルな訓練を可能にする。
• 補助目的関数の勾配を計算するために後向感度法を用いて逆伝搬を行う。
• 訓練中に固定格子ソルバーを使用しても性能を維持できることを示し、より高速な訓練を実現する。

実験結果

リサーチクエスチョン

• RQ1 運動エネルギーとヤコビアン正則化は、尤度性能を損なうことなく、訓練しやすいニューラルODEを生み出せるか？
• RQ2 これらの正則化項は、より滑らかで積分しやすいダイナミクスを生み出すことで、実測時間の訓練を速くするか？
• RQ3 RNODE の正則化項は、学習された流れの最適輸送形式とどのように関連するか？
• RQ4 標準的な生成モデルのベンチマークにおける訓練の安定性と計算量（例えば関数評価回数）の経験的影響は何か？

主な発見

• RNODE は FFJORD と同程度の対数尤度を達成しつつ、訓練時間を大幅に短縮します（例えば報告されたスピードアップと性能維持）。
• 正則化項はヤコビアンの成長を抑制し、直線的で一定速度の軌道を促進し、学習されたダイナミクスの数値積分性を向上させます。
• 運動エネルギー項とヤコビアン正則化は、それぞれ解法のステップ数を削減し、訓練を安定化させることを、アブレーション研究で示しています。
• RNODE の正則化は、既存の発散推定とヤコビアン-ベクトル計算を活用し、FFJORD にほとんど追加コストをかけずに大規模データセットでの実用的な適用を可能にします。