[論文レビュー] Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs

Talgat Daulbaev, Alexandr Katrutsa+4 more|arXiv (Cornell University)|Mar 11, 2020

Model Reduction and Neural Networks参考文献 30被引用数 9

ひとこと要約

本稿では、Chebyshevグリッド上の重心ラグランジュ補間を用いて隠れ状態を近似することで、逆方向パスにおけるODE解法回数を削減し、学習を高速化するメモリ効率の良い手法である、インターポレートド逆動的法（IRDM）を提案する。IRDMは、分類、密度推定、変分推論の各タスクにおいて、標準的な逆動的法（RDM）と比較して、より速い収束と低い学習時間を達成する。理論的誤差境界とCIFAR10、Caltech、FreyFacesデータセットにおける実験的検証が行われている。

ABSTRACT

We propose a simple interpolation-based method for the efficient approximation of gradients in neural ODE models. We compare it with the reverse dynamic method (known in the literature as "adjoint method") to train neural ODEs on classification, density estimation, and inference approximation tasks. We also propose a theoretical justification of our approach using logarithmic norm formalism. As a result, our method allows faster model training than the reverse dynamic method that was confirmed and validated by extensive numerical experiments for several standard benchmarks.

研究の動機と目的

• Neural ODEの学習における逆動的法（RDM）の数値的不安定性と高い計算コストを解消すること。
• 逆方向パスにおけるODEソルバのステップ数を削減し、勾配の正確性を損なわずに学習を高速化すること。
• 直接的な逆方向統合を置き換えることで、安定でメモリ効率の良いRDMおよびANODEの代替手法を開発すること。
• 対数的ノルム形式を用いて、補間摂動による勾配誤差の理論的裏付けを提供すること。
• 画像分類（CIFAR10）、密度推定、変分オートエンコーダ（Caltech、FreyFaces）の多様なベンチマークで手法を検証すること。

提案手法

• 前方パスでの評価値から、Chebyshevノード上で重心ラグランジュ補間（BLI）を用いて隠れ状態軌道 $\mathbf{z}(t)$ を近似する。
• 前方パスでは、DOPRI5の適応的ODEソルバを用いて、Chebyshevノードにおける $\mathbf{z}(t)$ の値のみを保存し、全軌道の保存を回避する。
• 逆方向パスでは、補間を用いて $\mathbf{z}(t)$ を再構築し、元の初期値問題を逆方向に統合する必要なく勾配を計算する。
• 元のODEを逆方向に統合する必要がないように、$\mathbf{z}(t)$ を含む標準的な随伴初期値問題を次元削減されたシステムに置き換える。
• $\mathbf{z}(t) \in C^1$ であることを利用し、ODEベクトル場の弱い滑らかさ条件下で補間の正確性を保証する。
• 対数的ノルム形式を用いて、補間による勾配誤差の理論的上界を導出することで、安定性を保証する。

実験結果

リサーチクエスチョン

• RQ1 前方パスで隠れ状態軌道 $\mathbf{z}(t)$ を補間することで、逆方向パスにおけるODE解法回数を削減しつつ、勾配の正確性を維持できるか？
• RQ2 補間ベースの手法は、RDMおよびANODEと比較して、学習速度、メモリ使用量、最終的なモデル性能においてどのように異なるか？
• RQ3 補間によって誘発される勾配誤差の理論的上限は何か？また、Chebyshevノードの数とODEソルバの許容誤差にどのように依存するか？
• RQ4 補間手法の選択（例：BLI対線形補間）が、学習の安定性および収束に顕著な影響を及えるか？
• RQ5 提案手法は、CIFAR10、Caltech、FreyFacesといった標準ベンチマークで、より速い収束と低い計算コストを達成できるか？

主な発見

• CIFAR10分類タスクにおいて、IRDMはRDMと比較して最大30％の学習時間を短縮し、16個のChebyshevノードを用いて0.867のテスト精度を達成した。
• MNIST分類タスクでは、BLIベースの補間が線形補間を上回り、40エポック経過後のテスト精度がより安定していた。
• 変分オートエンコーダーの設定では、IRDMはRDMと同等の最終的なテスト損失を達成したが、CaltechおよびFreyFacesデータセットではわずかに速い収束を示した。
• 理論的分析から、補間による勾配誤差は有界であり、ODEシステムの対数的ノルムと補間誤差に依存することが示された。
• 8個のChebyshevノードを用いたIRDMは、CIFAR10においてRDMよりも高速に学習を実行し、わずかな数の補間点でも顕著な高速化が達成できることを示した。
• 本手法は安定性を維持しており、特に剛性ODEの領域で見られる元のRDMの数値的不安定性を示さない。