[論文レビュー] STEER: Simple Temporal Regularization For Neural ODEs

Arnab Ghosh, Harkirat Behl+3 more|arXiv (Cornell University)|Jun 18, 2020

Model Reduction and Neural Networks参考文献 57被引用数 16

ひとこと要約

この論文では、訓練中に積分の終了時刻をランダムに摂動することで、ニューラルODEのシンプルな時間的正則化手法であるSTEERを提案する。ODEのダイナミクスを単純化することで、正規化流れ、時系列、画像認識の分野において、訓練時間と関数評価回数を削減できる。本手法は既存の正則化手法と直交しており、剛性ODEにおいても性能向上を実現する。

ABSTRACT

Training Neural Ordinary Differential Equations (ODEs) is often computationally expensive. Indeed, computing the forward pass of such models involves solving an ODE which can become arbitrarily complex during training. Recent works have shown that regularizing the dynamics of the ODE can partially alleviate this. In this paper we propose a new regularization technique: randomly sampling the end time of the ODE during training. The proposed regularization is simple to implement, has negligible overhead and is effective across a wide variety of tasks. Further, the technique is orthogonal to several other methods proposed to regularize the dynamics of ODEs and as such can be used in conjunction with them. We show through experiments on normalizing flows, time series models and image recognition that the proposed regularization can significantly decrease training time and even improve performance over baseline models.

研究の動機と目的

• ニューラルODEの訓練にかかる高コストな計算量を低減するため、最適化過程で関数評価回数が増加する要因を是正すること。
• ニューラルODEのダイナミクスを単純化し、関数評価回数を削減し、訓練を高速化すること。
• 既存の手法と互換性があり、計算コストが低い正則化手法を開発すること。
• 特に剛性ODEや不規則にサンプリングされた時系列のような困難な状況において、一般化性能とロバスト性を向上させること。
• アーキテクチャの変更なしに、終了時刻のランダム化がより安定的かつ効率的な訓練をもたらすことを実証すること。

提案手法

• 訓練中、ODEの積分終了時刻 $ t_1 $ が、一様分布から抽出された確率変数 $ \theta $ を用いて $ t_1 \pm \theta $ にランダムに摂動される。
• 摂動は各訓練バッチごとに独立に適用され、時間的積分範囲に確率的要因が導入される。
• 最小限のコード変更で実装可能であり、ODEソルバにおける積分区間の変更のみで実現できる。
• 本手法は、拡張されたニューラルODEや最適輸送に基づく正則化といった既存の手法と直交する。
• モデルアーキテクチャや損失関数を変更せず、時間的摂動に依存して単純化されたダイナミクスを促進する。
• 前向きおよび逆向きの伝搬の両方で本手法が適用され、標準的なニューラルODEと同様にアドジョイント法により勾配が計算される。

実験結果

リサーチクエスチョン

• RQ1 ODE積分の終了時刻に対するランダム摂動は、ニューラルODEにおけるより単純で安定したダイナミクスをもたらすか？
• RQ2 この時間的正則化は、訓練および推論過程における関数評価回数を削減するか？
• RQ3 STEERは、連続的正規化流れや不規則にサンプリングされた時系列のような困難なタスクにおいて性能向上をもたらすか？
• RQ4 剛性ODEにおいて、STEERは標準的なソルバが苦戦する状況でも有効か？
• RQ5 本手法は、既存のニューラルODE用正則化技術と互換性があり、補完的か？

主な発見

• STEERは、正規化流れや時系列モデリングを含む複数のタスクにおいて、訓練時間と関数評価回数を顕著に削減する。
• 不規則にサンプリングされた時系列のベンチマークにおいて、STEERは特に周期成分に線形トレンド（$ t $）が加わった場合に、真値信号の定性的な挙動をよりよく再現する軌道を生成する。
• 画像認識および正規化流れタスクにおいて、正則化なしのモデルと同等またはそれ以上の性能を示し、収束が速い。
• 剛性ODEにおいて、STEERは標準的なニューラルODEが安定したダイナミクスを学習できない状況でも優れた性能を示す。
• 拡張されたニューラルODEや最適輸送に基づく正則化といった既存の手法と直交しており、組み合わせることでさらなる性能向上が可能である。
• 実験的結果から、STEERで訓練されたモデルは、ベクトル場の可視化により単純な流れを学習していることが示され、より高速かつ安定した訓練が実現している。