[論文レビュー] Neural Rough Differential Equations for Long Time Series

James Morrill, Cristopher Salvi+3 more|arXiv (Cornell University)|Sep 17, 2020

Time Series Analysis and Forecasting参考文献 39被引用数 26

ひとこと要約

この論文は、従来の補間に基づく制御を、小さな時間間隔における入力時系列の対数シグネチャ表現に置き換えることで、Neural CDE における制御を刷新する新しいフレームワーク、Neural RDE（Neural Rough Differential Equations）を提案する。rough path 理論を活用することで、長時間系列の効率的かつメモリ・時間効率の良いモデリングが可能となり、既存の手法と比較して顕著な訓練速度の向上、メモリ使用量の削減、17,000件の観測値に達するような長時間系列においても性能の向上を実証した。

ABSTRACT

Neural controlled differential equations (CDEs) are the continuous-time analogue of recurrent neural networks, as Neural ODEs are to residual networks, and offer a memory-efficient continuous-time way to model functions of potentially irregular time series. Existing methods for computing the forward pass of a Neural CDE involve embedding the incoming time series into path space, often via interpolation, and using evaluations of this path to drive the hidden state. Here, we use rough path theory to extend this formulation. Instead of directly embedding into path space, we instead represent the input signal over small time intervals through its extit{log-signature}, which are statistics describing how the signal drives a CDE. This is the approach for solving extit{rough differential equations} (RDEs), and correspondingly we describe our main contribution as the introduction of Neural RDEs. This extension has a purpose: by generalising the Neural CDE approach to a broader class of driving signals, we demonstrate particular advantages for tackling long time series. In this regime, we demonstrate efficacy on problems of length up to 17k observations and observe significant training speed-ups, improvements in model performance, and reduced memory requirements compared to existing approaches.

研究の動機と目的

• 長時間系列におけるNeural CDEの非効率性とスケーラビリティの制限を解消すること。特に、訓練が著しく遅くなり、メモリを大量に消費する問題を改善すること。
• rough path 理論を活用することで、Neural CDE フレームワークを、非微分可能または不規則な時系列、あるいは高相関を持つ時系列に対しても拡張すること。
• 局所的な信号挙動を対数シグネチャで要約することで、有効な時間ステップを大きくしても情報損失が生じないよう、有効な系列長を短縮すること。
• 連続時刻のアドジョイント法との互換性を維持することで、効率的なバックプロパゲーションを実現するとともに、一般化性能と訓練の安定性を向上させること。
• 長時間系列（最大17,000観測値）における実証的評価を通じて、Neural CDE や ODE-RNN ベースラインと比較して、優れた性能と効率性を示すこと。

提案手法

• 時系列を微分可能経路 X(t) に補間する従来の方法に代わり、小さな時間間隔における信号の対数シグネチャに基づく表現を採用する。
• 点での微分 ˙Xs によってCDEを駆動するのではなく、信号セグメントの対数シグネチャを要約統計量として用い、隠れ状態の進化を駆動する。
• このアプローチは、制御経路の対数シグネチャにのみ依存するため、点での値に依存しない rough path 理論に裏打ちされている。
• 隠れ状態 Zt は、制御微分方程式 dZt = fθ(Zt) dXt に従って進化する。ここで X は時間間隔における対数シグネチャで表現されるため、より大きな有効な時間ステップが可能になる。
• フォワードパスでは、点での評価ではなく、区間要約を統合することでRDEを数値的に解く log-ODE 法を用いる。
• バックプロパゲーションは連続アドジョイント法により実行され、メモリ効率を維持し、標準的な autograd ツールを用いたエンドツーエンドの学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 時系列の対数シグネチャ表現が、長時間系列におけるNeural CDEの効率性とスケーラビリティを向上させられるか？
• RQ2 点での補間を区間の対数シグネチャ要約に置き換えることで、メモリ使用量と訓練時間の削減が達成され、かつモデル性能が維持または向上するか？
• RQ3 Neural RDE は、従来の Neural CDE よりも非微分可能または不規則な時系列に対してより頑健に扱えるか？
• RQ4 17,000観測値に達する長時間系列において、Neural RDE の性能は Neural CDE や ODE-RNN ベースラインと比較してどうか？
• RQ5 制御要約としての対数シグネチャの使用が、長期間予測タスクにおける一般化性能と安定性を向上させるか？

主な発見

• EigenWorms データセットでは、Neural RDE（深さ2）が、ステップサイズ2で9.8時間の訓練時間、354.3 MBのメモリ使用量でテスト精度76.1％を達成し、NCDE や ODE-RNN を両方で上回るスピードとメモリ効率を示した。
• BIDMC のバイタル予測タスクでは、Neural RDE3 が RR で1.49 ± 0.08、HR で3.46 ± 0.13、SpO2 で1.29 ± 0.15 のL2損失を記録し、ステップサイズ512ですべてのベースラインを上回った。
• ステップサイズ2048では、Neural RDE3 がすべてのバイタルで低L2損失（1.83、5.58、1.72）を維持したが、NCDE や ODE-RNN はメモリオーバーフローにより失敗した。
• Neural RDE の訓練時間はステップサイズの増加に伴い顕著に短縮され、ステップ2で9.8時間、ステップ1024で0.1時間にまで低下し、強力なスケーリング優位性を示した。
• Neural RDE のメモリ使用量は、ステップ2で354.3 MBからステップ2048で10.2 MBにまで低下し、35倍の削減を達成した。一方、NCDE や ODE-RNN は大規模なステップサイズでも100 MBを超える使用量を示した。
• Neural RDE は、17,000観測値に達する長時間系列において、SOTA（最先端）の性能を達成した。訓練時間は1時間未満、メモリ使用量は150 MB未満に抑えられた。一方、ODE-RNN や NCDE は、このような長さでは失敗するか、実用的でなくなった。