[論文レビュー] On Second Order Behaviour in Augmented Neural ODEs

Alexander Norcliffe, Cristian Bodnar+3 more|arXiv (Cornell University)|Jan 1, 2020

Model Reduction and Neural Networks参考文献 21被引用数 22

ひとこと要約

この論文は、2階微分方程式を扱う連続的深さ構造であるSecond Order Neural ODEs (SONODEs)を提案する。SONODEsは、2階の力学的系を2つの1階微分方程式の結合系としてモデル化し、拡張された随伴感度法を用いて効率的な学習を可能にする。主な貢献は、SONODEsが、より強いインダクティブバイアスを有することにより、ANODEs や NODEs よりも2階力学的系において高速な学習と優れた性能を達成している点である。一方、ANODEs も高階の力学的系を学習可能であるが、解釈性が低下するという代償を伴う。

ABSTRACT

Neural Ordinary Differential Equations (NODEs) are a new class of models that transform data continuously through infinite-depth architectures. The continuous nature of NODEs has made them particularly suitable for learning the dynamics of complex physical systems. While previous work has mostly been focused on first order ODEs, the dynamics of many systems, especially in classical physics, are governed by second order laws. In this work, we consider Second Order Neural ODEs (SONODEs). We show how the adjoint sensitivity method can be extended to SONODEs and prove that the optimisation of a first order coupled ODE is equivalent and computationally more efficient. Furthermore, we extend the theoretical understanding of the broader class of Augmented NODEs (ANODEs) by showing they can also learn higher order dynamics with a minimal number of augmented dimensions, but at the cost of interpretability. This indicates that the advantages of ANODEs go beyond the extra space offered by the augmented dimensions, as originally thought. Finally, we compare SONODEs and ANODEs on synthetic and real dynamical systems and demonstrate that the inductive biases of the former generally result in faster training and better performance.

研究の動機と目的

• 古典的物理学に一般的に見られる2階力学的系における神経ODEの理論的・実験的研究の不足に対処すること。
• 随伴感度法を2階微分方程式に拡張し、1階の結合系と計算的に同等であることを示すこと。
• 拡張神経ODE (ANODEs) が高階の力学的系を学習可能かどうかを調査し、解釈性と最適化の多様性のトレードオフを評価すること。
• 合成的および実世界の2階力学的系において、SONODEs と ANODEs を比較し、一般化性能とインダクティブバイアスの影響を評価すること。

提案手法

• 状態 z = [x, a] を用いて、SONODEs を1階微分方程式の結合系として定式化し、a は速度を表す。これにより、1階の随伴感度法を再利用可能にする。
• 2階の随伴状態の動的変化を導出することで、随伴感度法を2階系に一般化する。
• 直接的な2階の随伴計算よりも、計算的に効率的な1階の結合微分方程式の定式化を用いる。
• 回帰タスクでは平均二乗誤差 (MSE) 損失、分類タスクでは交差エントロピー損失を用いてモデルを学習する。
• 適応的ステップサイズを有するODEソルバを用い、モデルパラメータを最適化するための勾配を随伴法により計算する。
• 解析解が既知の合成系（例：コンパクトパリティ、指数関数）および実システム（例：飛行機の振動）を用いてモデルをテストする。

実験結果

リサーチクエスチョン

• RQ1 随伴感度法を2階神経ODEに成功裏に一般化できるか？
• RQ2 1階の結合微分方程式の定式化は、直接的な2階随伴計算と計算的に同等であり、より効率的か？
• RQ3 ANODEs は高階の力学的系を学習可能であり、その解釈性と損失関数の多様性にどのような影響を与えるか？
• RQ4 SONODEs は、より強いインダクティブバイアスのおかげで、ANODEs や NODEs よりも2階力学的系の学習で優れた性能を発揮するか？
• RQ5 実験的および合成的タスクにおいて、SONODEs と ANODEs は、学習速度、テスト精度、関数評価回数 (NFE) の観点からどのように比較されるか？

主な発見

• SONODEs は、より強いインダクティブバイアスのおかげで、2階力学的系において ANODEs や NODEs よりも高速な学習と優れた性能を達成する。
• 1階の結合微分方程式の定式化は、直接的な2階随伴計算と計算的に同等であり、より効率的である。
• ANODEs は最小限の拡張次元で高階の力学的系を学習可能であるが、解釈性が低下し、損失関数の多様性が複雑になるという代償を伴う。
• MNIST分類タスクにおいて、SONODEs は NFE 20.1 でテスト精度 0.9963 ± 0.0001 を達成し、NODEs (NFE 26.2) よりも単純で効率的な流れであることが示された。
• ANODEs も同じテスト精度 0.9963 ± 0.0001 を達成したが、NFE 32.2 と高く、パラメータ数が少ないにもかかわらず、より複雑な学習された力学的系であることが示唆された。
• 3階神経ODE (TONODEs) は飛行機の振動タスクにおいて著しく性能を発揮せず、しばしば自明な解に収束する傾向にあり、高階系における最適化の難しさが示された。