[論文レビュー] Discretize-Optimize vs. Optimize-Discretize for Time-Series Regression and Continuous Normalizing Flows

Derek Onken, Lars Ruthotto|arXiv (Cornell University)|May 27, 2020

Time Series Analysis and Forecasting参考文献 38被引用数 27

ひとこと要約

この論文は、時系列回帰および連続正規化流れ（CNF）におけるニューラルODEの学習に、離散化して最適化する（Disc-Opt）手法と、最適化してから離散化する（Opt-Disc）手法を比較している。Disc-Optは、ODEソルバーの精度に依存しない勾配の正確さのおかげで、Opt-Discと同等の推論性能を達成しながら、学習時間を39%から97%短縮している。1つのケースでは、学習を9日間から1日未塔に短縮した。

ABSTRACT

We compare the discretize-optimize (Disc-Opt) and optimize-discretize (Opt-Disc) approaches for time-series regression and continuous normalizing flows (CNFs) using neural ODEs. Neural ODEs are ordinary differential equations (ODEs) with neural network components. Training a neural ODE is an optimal control problem where the weights are the controls and the hidden features are the states. Every training iteration involves solving an ODE forward and another backward in time, which can require large amounts of computation, time, and memory. Comparing the Opt-Disc and Disc-Opt approaches in image classification tasks, Gholami et al. (2019) suggest that Disc-Opt is preferable due to the guaranteed accuracy of gradients. In this paper, we extend the comparison to neural ODEs for time-series regression and CNFs. Unlike in classification, meaningful models in these tasks must also satisfy additional requirements beyond accurate final-time output, e.g., the invertibility of the CNF. Through our numerical experiments, we demonstrate that with careful numerical treatment, Disc-Opt methods can achieve similar performance as Opt-Disc at inference with drastically reduced training costs. Disc-Opt reduced costs in six out of seven separate problems with training time reduction ranging from 39% to 97%, and in one case, Disc-Opt reduced training from nine days to less than one day.

研究の動機と目的

• 時系列回帰および連続正規化流れ（CNF）におけるニューラルODEの学習において、Disc-OptとOpt-Discのトレードオフを評価すること。
• 計算コストを削減しても、特にCNFにおける可逆性を含むモデル品質が維持されるかどうかを評価すること。
• 現実の科学的機械学習タスクにおける学習時間の短縮とパフォーマンスのトレードオフを定量すること。
• Opt-Discとは異なり、Disc-Optの勾配が低精度のODEソルバーでも正確であることを検証すること。
• 画像分類の範囲を超えて、実世界の問題においてDisc-Optが示す実用的効率性を示すこと。

提案手法

• ODE制約付きの最適制御問題としてニューラルODEの学習を定式化し、正則化された損失最小化を実施する。
• ポントラグリンの最大原理を用いて連続最適性系を導出し、勾配計算に適した随伴ODEを導出する。
• Disc-Optを適用する際は、まずODEを離散化（前進オイラー法を用いて）し、その後自動微分を用いて有限次元最適化問題を解く。
• Opt-Discでは、離散的随伴バックプロパゲーションを用い、後退オイラー法で前向きステップの後に時刻点での勾配を計算する。
• 後向きODE統合における数値不安定性を軽減するために、前向き・後向きに安定なネットワークと随伴ソルバーを採用する。
• ODEソルバーの許容誤差を変化させながら両手法を実装し、勾配の正確さと学習コストのトレードオフを比較する。

実験結果

リサーチクエスチョン

• RQ1 Disc-Optは、時系列回帰およびCNFにおいて、学習コストを削減しながらOpt-Discと同等の推論性能を達成できるか？
• RQ2 低精度のODEソルバーを用いた場合、Disc-Optの勾配精度はOpt-Discと比べてどうなるか？
• RQ3 多様な時系列およびCNFタスクにおいて、Disc-Optが達成可能な学習時間短縮の規模はどの程度か？
• RQ4 Disc-Optは、連続正規化流れにおける可逆性といった重要なモデル特性を保持できるか？
• RQ5 計算効率および収束安定性の観点から、Disc-OptがOpt-Discを上回る状況はどのようなものか？

主な発見

• 1つの時系列回帰問題において、Disc-Optは学習時間を97%短縮し、9日間から1日未塔にまで短縮した。
• テストした7つの問題のうち6つで、Disc-Optは39%から97%の有意な学習時間短縮を達成した。
• 低精度のODEソルバーを用いても、Disc-OptはOpt-Discと同等の推論性能を維持した。
• Disc-Optの勾配精度はODEソルバーの精度に依存しないが、Opt-Discはソルバーの精度が低いと勾配が劣化する。
• Disc-Optは、CNFベースの生成モデリングに不可欠な可逆性を保持している。
• Disc-Optは自動微分と組み合わせやすく、Opt-Discが直面する時間反転ODE解法の数値不安定性を回避できる。