[論文レビュー] Neural SDEs as Infinite-Dimensional GANs

Patrick Kidger, James Foster+3 more|arXiv (Cornell University)|Feb 6, 2021

Model Reduction and Neural Networks参考文献 60被引用数 7

ひとこと要約

この論文は、神経的確率微分方程式（SDE）を、無限次元の Wasserstein GAN として定式化することにより、連続時間の生成モデルとして位置づける。ここで、神経的SDEが生成器として働き、神経的制御確率微分方程式（CDE）が識別器として機能する。この手法により、事前に指定された統計量や密度関数に依存せずに、任意のドリフト関数および拡散関数のエンドツーエンド学習が可能となり、無限データ極限における一意のグローバル収束を達成する。時間系列モデリングタスクにおいて最先端の性能を達成する。

ABSTRACT

Stochastic differential equations (SDEs) are a staple of mathematical modelling of temporal dynamics. However, a fundamental limitation has been that such models have typically been relatively inflexible, which recent work introducing Neural SDEs has sought to solve. Here, we show that the current classical approach to fitting SDEs may be approached as a special case of (Wasserstein) GANs, and in doing so the neural and classical regimes may be brought together. The input noise is Brownian motion, the output samples are time-evolving paths produced by a numerical solver, and by parameterising a discriminator as a Neural Controlled Differential Equation (CDE), we obtain Neural SDEs as (in modern machine learning parlance) continuous-time generative time series models. Unlike previous work on this problem, this is a direct extension of the classical approach without reference to either prespecified statistics or density functions. Arbitrary drift and diffusions are admissible, so as the Wasserstein loss has a unique global minima, in the infinite data limit any SDE may be learnt. Example code has been made available as part of the exttt{torchsde} repository.

研究の動機と目的

• 従来のSDEモデリングと現代のディープラーニングを統合するため、SDEのフィッティングをWasserstein GAN問題として再解釈すること。
• 事前に指定された統計量や密度関数に依存する従来の神経的SDE手法の限界を克服すること。
• 任意のドリフト関数および拡散関数を用いて、柔軟で高容量の確率的時系列モデリングを可能にすること。
• Wasserstein GAN定式化が、無限データ極限において一意のグローバル最小値を保証することを示し、任意のSDEの一貫した学習を可能にすること。

提案手法

• ブラウン運動を入力として用い、サンプルパスを生成する神経的SDEを生成器として定式化する。
• 実データのパスと生成されたパスを区別するため、神経的CDEを識別器として使用する。
• 1-Wasserstein損失を用いて、生成器と識別器をミニマックス目的で同時に学習する。
• ドリフト関数および拡散関数の両方を深層ニューラルネットワークでパラメータ化し、完全な柔軟性を実現する。
• GANに類似した目的関数の学習安定化のため、確率的重み平均化と最終段階のtanh非線形活性化関数を適用する。
• オscillatoryな挙動を軽減するため、Adadelta最適化法と重み減衰を用いる。

実験結果

リサーチクエスチョン

• RQ1 従来、事前に指定された統計量に依存していた古典的SDEフィッティングが、GANベースの学習問題として再解釈可能か？
• RQ2 神経的SDEを無限次元のGANとして定式化することで、密度推定を伴わずに任意のドリフト関数および拡散関数の学習が可能か？
• RQ3 このアプローチは、Latent ODE や CTFP といった既存手法と比較して、時系列モデリングタスクでより優れた性能を発揮できるか？
• RQ4 Wasserstein GAN定式化が、SDE学習における無限データ極限での一意のグローバル収束を保証するか？
• RQ5 連続時間GANにおけるミニマックス目的を安定化させるための訓練技術は何か？

主な発見

• 金融時系列データセットでは、神経的SDEが予測（0.144 ± 0.045）とMMD（1.92 ± 0.09）で最高の性能を示し、CTFP や Latent ODE を上回った。
• 大気質データセットでは、MMDが最小（0.000160 ± 0.000029）かつ予測性能（0.395 ± 0.056）が競争力があり、パス空間モデリングの優位性が示された。
• MNISTの重みダイナミクスデータセットでは、MMDが最高（5.28 ± 1.27）であり、CTFPに比べて予測誤差が10倍改善（0.00843 ± 0.00759）された。
• 確率的重み平均化と最終段階のtanh非線形活性化関数は、学習安定性と最終モデル性能の両方を顕著に向上させた。
• Adadeltaは、SGD や Adam よりも学習安定性と最終指標性能で優れていたが、その理由はまだ明確でない。
• Wasserstein損失の一意なグローバル最小値のおかげで、無限データ極限において任意のSDEを一貫して学習可能であり、柔軟で一貫したモデリングが実現した。