[論文レビュー] SNODE: Spectral Discretization of Neural ODEs for System Identification

Alessio Quaglino, Marco Gallieri+2 more|arXiv (Cornell University)|Jun 17, 2019

Model Reduction and Neural Networks参考文献 28被引用数 23

ひとこと要約

本稿では、状態軌道をレジェンドル多項式展開で表現するスペクトル離散化手法SNODEを提案する。この手法により、多項式係数とネットワーク重みに対する座標降下法を用いて完全な時間並列学習が可能となり、常微分方程式（ODE）の数値解法と随伴法に比べ、少なくとも1桁速い収束速度と10倍低いテストMSEを達成した。

ABSTRACT

This paper proposes the use of spectral element methods \citep{canuto_spectral_1988} for fast and accurate training of Neural Ordinary Differential Equations (ODE-Nets; \citealp{Chen2018NeuralOD}) for system identification. This is achieved by expressing their dynamics as a truncated series of Legendre polynomials. The series coefficients, as well as the network weights, are computed by minimizing the weighted sum of the loss function and the violation of the ODE-Net dynamics. The problem is solved by coordinate descent that alternately minimizes, with respect to the coefficients and the weights, two unconstrained sub-problems using standard backpropagation and gradient methods. The resulting optimization scheme is fully time-parallel and results in a low memory footprint. Experimental comparison to standard methods, such as backpropagation through explicit solvers and the adjoint technique \citep{Chen2018NeuralOD}, on training surrogate models of small and medium-scale dynamical systems shows that it is at least one order of magnitude faster at reaching a comparable value of the loss function. The corresponding testing MSE is one order of magnitude smaller as well, suggesting generalization capabilities increase.

研究の動機と目的

• Neural ODEの学習における標準的なODEソルバーと随伴法の高い計算コストとメモリオーヘッドを解消すること。
• スパースな時系列観測が与えられる動的システムのシステム同定において、最適化の効率と一般化性能を向上させること。
• 中間状態の保存を回避し、数値誤差への感受性を低減する時間並列学習フレームワークを構築すること。
• スレート法を活用して、指数的収束率を達成する高精度な状態近似を実現すること。
• 多項式近似と非制約最適化によりODE制約を緩和することで、ODE-Netsの安定的かつ効率的な学習を可能にすること。

提案手法

• Neural ODEの状態軌道を、最適化対象の係数を有するレジェンドル多項式の有限級数として表現する。
• 損失関数とODEダイナミクスの違反の重み付き和を最小化する最適化問題として学習問題を定式化し、制約の緩和を可能にする。
• 標準的なバックプロパゲーションと勾配法を用いて、多項式係数とネットワーク重みを交互に最適化する座標降下法を用いる。
• 学習中にODEを繰り返し解く必要がなくなるため、完全な時間並列での最適化を実現する。
• レジェンドル＝ガウス＝ロバッチ点におけるスペクトルコロケーションを適用し、高次精度と効率的な計算を実現する。
• スレート法の性質（Canuto et al., 1988）を活用して、多項式次数の増加に伴い近似誤差が指数的に収束することを保証する。

実験結果

リサーチクエスチョン

• RQ1 スレート離散化を用いたNeural ODEは、標準的な随伴法や明示的解法に比べ、学習速度と一般化性能を向上させることができるか？
• RQ2 多項式近似によるODE制約の緩和は、最適化の局所的性質を改善し、収束を早めるか？
• RQ3 本手法の時間並列性は、システム同定タスクにおけるメモリ使用量と計算コストをどの程度低減するか？
• RQ4 衝突回避を伴う連結車両モデルなどの既知のダイナミクスを持つ系において、本手法はどのように性能を発揮するか？
• RQ5 不連続または滑らかでないダイナミクスを持つ系に適用した場合、本手法は安定性と精度を維持できるか？

主な発見

• 6状態の車両系において、SNODEは明示的および随伴法に比べ、1イテレーションあたり少なくとも1桁速い学習速度を達成した。
• 標準的手法に比べて必要なイテレーション数の3分の1で収束が達成され、テストMSEが10倍低減した。
• 30状態の連結車両系において、SNODEの1イテレーションは、最も速い明示的スキームに比べ50倍速く、同程度の収束スピードアップを達成した。
• レジェンドル多項式次数の増加に伴い、近似誤差が指数的に収束するという特徴を示し、低次の多項式でも高精度な近似が可能となった。
• 制約の緩和により最適化の局所的性質が改善され、消失／爆発勾配や局所最適解の問題が軽減された。
• 訓練損失が同程度であるにもかかわらず、テスト誤差が著しく低いため、標準的手法よりも一般化性能に優れたことが実証された。