[論文レビュー] Accelerating Neural ODEs with Spectral Elements.

Alessio Quaglino, Marco Gallieri+2 more|arXiv (Cornell University)|Jun 17, 2019

Model Reduction and Neural Networks参考文献 24被引用数 8

ひとこと要約

本稿では、ニューラルODEのダイナミクスを切り捨てられたレジェンドル多項式級数として表現することで、時間並列最適化を可能にする座標降下法を用いて、ニューラルODEの学習を高速化する。この手法は、標準的なバックプロパゲーションおよびアドジョイント法と比較して、少なくとも10倍速い収束と10倍低いテストMSEを達成する。

ABSTRACT

This paper proposes the use of spectral element methods \citep{canuto_spectral_1988} for fast and accurate training of Neural Ordinary Differential Equations (ODE-Nets; \citealp{Chen2018NeuralOD}) for system identification. This is achieved by expressing their dynamics as a truncated series of Legendre polynomials. The series coefficients, as well as the network weights, are computed by minimizing the weighted sum of the loss function and the violation of the ODE-Net dynamics. The problem is solved by coordinate descent that alternately minimizes, with respect to the coefficients and the weights, two unconstrained sub-problems using standard backpropagation and gradient methods. The resulting optimization scheme is fully time-parallel and results in a low memory footprint. Experimental comparison to standard methods, such as backpropagation through explicit solvers and the adjoint technique \citep{Chen2018NeuralOD}, on training surrogate models of small and medium-scale dynamical systems shows that it is at least one order of magnitude faster at reaching a comparable value of the loss function. The corresponding testing MSE is one order of magnitude smaller as well, suggesting generalization capabilities increase.

研究の動機と目的

• 動的システムにおけるシステム同定のためのニューラルODEの学習を高速化すること。
• ニューラルODEの学習中のメモリ使用量を低減すること。
• 損失とODEダイナミクスの違反の両方を最小化することで一般化性能を向上させること。
• ODEダイナミクスをスペクトル空間に再定式化することで、完全な時間並列最適化を可能とすること。

提案手法

• ニューラルODEのダイナミクスが、切り捨てられたレジェンドル多項式級数として表現される。
• スペクトル係数とネットワーク重みが、損失とODE残差違反の重み付き和を最小化することで共同最適化される。
• 座標降下法が、勾配法による係数最適化とバックプロパゲーションによる重み最適化を交互に実行する。
• スペクトル係数が時間区間ごとに独立して計算されるため、この手法は完全に時間並列である。
• ODE制約は、残差の弱形式を通じて強制され、真のダイナミクスからのずれを最小化する。
• スペクトル要素法を活用することで、低メモリ使用量で高い精度を達成する。

実験結果

リサーチクエスチョン

• RQ1 スペクトル要素法は、システム同定のためのニューラルODE学習の速度と精度を向上させることができるか？
• RQ2 解法を経由する標準的なバックプロパゲーションと比較して、スペクトル係数による時間並列最適化はどのように異なるか？
• RQ3 この手法は、学習中のメモリ消費量をどの程度低減するか？
• RQ4 スペクトル残差を用いてODEダイナミクスを強制することで、一般化性能が向上するか？
• RQ5 この手法は中規模の動的システムに効果的にスケーリング可能か？

主な発見

• 提案手法は、明示的解法を経由する標準的なバックプロパゲーションおよびアドジョイント法と比較して、少なくとも10倍速い収束を達成する。
• この手法は、はるかに少ない学習イテレーションで同等の損失値に到達するため、より速い最適化ダイナミクスを示している。
• テスト平均二乗誤差（MSE）はベースライン手法と比較して1桁低い水準にあり、一般化性能の向上を示唆している。
• 最適化スキームは完全に時間並列であるため、時間区間全体にわたる効率的な計算が可能である。
• レジェンドル多項式による動的ダイナミクスの構造的かつグローバルな表現のおかげで、低メモリ使用量を維持している。
• 損失とODE残差違反の共同最小化により、動的システムのより正確なサーヴィレートモデルが得られる。