[論文レビュー] Learning Differential Equations that are Easy to Solve

Jacob Kelly, Jesse Bettencourt+2 more|arXiv (Cornell University)|Jul 9, 2020

Model Reduction and Neural Networks参考文献 38被引用数 47

ひとこと要約

本論文は、神経ODEの軌道の高次時間導関数を最小化する微分可能なスピード正則化を導入し、適応解法における関数 evaluations の回数を減らす。速度と精度のトレードオフ。

ABSTRACT

Differential equations parameterized by neural networks become expensive to solve numerically as training progresses. We propose a remedy that encourages learned dynamics to be easier to solve. Specifically, we introduce a differentiable surrogate for the time cost of standard numerical solvers, using higher-order derivatives of solution trajectories. These derivatives are efficient to compute with Taylor-mode automatic differentiation. Optimizing this additional objective trades model performance against the time cost of solving the learned dynamics. We demonstrate our approach by training substantially faster, while nearly as accurate, models in supervised classification, density estimation, and time-series modelling tasks.

研究の動機と目的

• 軌道の複雑さを制御することにより neural ODE における数値解法のコストを削減する動機付け。
• z(t) の高次導関数に基づく時間コストの微分可能な代理指標を提案する。
• 速度正則化モデルが、タスクを超えて限定的な精度損失とともに評価を実質的に高速化できることを示す。

提案手法

• R_K(theta) を、軌道に沿った状態の K-次時間微分のノルムの二乗の積分として定義する。
• トレーニング目的関数に lambda * R_K(theta) を加え、解法の速度と精度をトレードオフする。
• Taylor-mode 自動微分を用いて総導関数を O(K^2) のコストで効率的に計算する。
• R_K の被積分関数を含むように ODE 系を拡張し、1 回のソルバ通過で計算できるようにする。
• supervised MNIST、PhysioNet 時系列、および FFJORD 密度推定で速度正則化モデルを経験的に評価する。

実験結果

リサーチクエスチョン

• RQ1 ニューラル ODE 軸の高次導関数を正則化することは、適応解法の必要な function evaluations(NFE) を削減しますか？
• RQ2 正則化次数 K をソルバの次数に合わせることが、速度と精度にどのような影響を与えますか？
• RQ3 分類、時系列モデリング、密度推定タスクにおける性能に、速度正則化はどう影響しますか？
• RQ4 Taylor-mode AD は正規化器の実用的計算に不可欠ですか？
• RQ5 速度正則化モデルは安定した学習および一般化挙動を示しますか？

主な発見

• K-th 導関数を正則化すると、いくつかのタスクでソルバ評価回数を約2倍の削減が可能となり、損失増は限られる。
• 正則化次数をソルバ次数に合わせることが、通常は最良の速度-精度のトレードオフをもたらし、ある点を超える高次ではリターンが減少する。
• Speed regularization substantially lowers NFE during training and evaluation, while test-time evaluation becomes faster due to simpler dynamics.
• Taylor-mode automatic differentiation provides efficient computation of total derivatives, enabling practical use of R_K during training.
• Compared to prior regularizers, the approach can maintain comparable accuracy while achieving faster inference in neural ODEs.