[論文レビュー] Stochastic Differential Equations with Variational Wishart Diffusions

Martin Jørgensen, Marc Peter Deisenroth+1 more|arXiv (Cornell University)|Jun 26, 2020

Gaussian Processes and Bayesian Inference被引用数 6

ひとこと要約

本稿では、状態に依存する異分散性を持つノイズをモデル化するための変分ウィシャート過程を用いた、確率微分方程式（SDE）を用いた連続時刻動的システムのベイジアン非パラメトリック枠組みを提案する。ノイズにフル・コサリエンス構造を許容することで、高次元かつ相関のある時系列システムのモデリングが向上し、過学習が軽減される。実験では、対角共分散ノイズや非確率的ベースラインと比較して一貫した性能向上が得られた。

ABSTRACT

We present a Bayesian non-parametric way of inferring stochastic differential equations for both regression tasks and continuous-time dynamical modelling. The work has high emphasis on the stochastic part of the differential equation, also known as the diffusion, and modelling it by means of Wishart processes. Further, we present a semi-parametric approach that allows the framework to scale to high dimensions. This successfully lead us onto how to model both latent and auto-regressive temporal systems with conditional heteroskedastic noise. We provide experimental evidence that modelling diffusion often improves performance and that this randomness in the differential equation can be essential to avoid overfitting.

研究の動機と目的

• 多変量確率微分方程式（SDE）における独立的かつ均一分散ノイズの制限を克服すること。
• ウィシャート過程を用いて、状態に依存するフルランク共分散行列としてプロセスノイズをモデル化し、次元間の連携したダイナミクスを可能にすること。
• 高次元システムにおける出力次元間の独立性仮定を避ける、スケーラブルな準パラメトリック推論手法を開発すること。
• ウィシャート過程として拡散をモデル化することで、時系列モデリングタスクにおける一般化性能とロバスト性が向上するかどうかを調査すること。
• 連続時刻学習における複雑で構造的なノイズを有するSDEの効率的訓練を可能にする変分推論フレームワークを提供すること。

提案手法

• SDEのドリフトおよび拡散をガウス過程でモデル化し、拡散をウィシャート過程でパrameter化することで、フル共分散構造を許容する。
• 変分推論アプローチを採用してSDEの潜在関数の事後分布を近似し、スケーラブルな学習を実現する。
• 高次元設定における計算可能性を維持するため、ウィシャート過程に低ランク近似を導入する。
• 短い時系列セグメントをミニバッチで扱い、Adam最適化子を用いて大規模データセットへのスケーリングを実現する。
• SDEを時間区間全体に定義する連続時刻定式化を採用することで、不規則に間隔が空いた観測のモデリングが可能になる。
• パラメトリックなドリフトと非パラメトリックな状態に依存する拡散を組み合わせた準パラメトリックアプローチを実装する。

実験結果

リサーチクエスチョン

• RQ1 SDEの拡散項を状態に依存するウィシャート過程としてモデル化することで、独立または対角共分散ノイズと比較して、多変量時系列モデリングの性能が向上するか。
• RQ2 構造的で相関のあるプロセスノイズの組み込みが、高次元動的システムにおける一般化性能と過学習に与える影響は。
• RQ3 ウィシャートベースのSDEフレームワークは、次元間の独立性を仮定せずに、高次元データにどの程度スケーリング可能か。
• RQ4 実世界の相関のある時系列データを用いた予測タスクにおいて、提案モデルは、i.i.d. または対角共分散ノイズを有する標準SDEを上回る性能を示すか。
• RQ5 ハイパーパramータ、特にウィシャート近似のランクに対して、モデルの感度は高く、実際には低ランク構造が好まれる傾向にあるか。

主な発見

• 提案されたdiffWGPモデルは、大気質および合成タスクを含む複数のデータセットで、対角共分散ノイズまたはノイズなしのベースラインモデルを一貫して上回った。
• 北京の大気質データセットでは、ウィシャート拡散モデルが最高の対数尤度を達成し、48時間予測の長期にわたり安定的かつ耐障害的な性能を示した。
• ウィシャート拡散モデルは、近接する監視局の間で相関する温度変化といった、空間的に近接した監視局間の連携ダイナミクスを捉えており、対角共分散ノイズモデルでは学習できなかった。
• 赤ワインおよび電力データセットでは、データがほぼ線形的または低次元的であるため、性能向上は限定的であった。これは、本手法の最大の利点が、複雑で高次元のシステムに存在することを示唆している。
• ドリフトなしでウィシャート拡散を有するモデルは性能が低かったため、時間的変化を捉えるために構造的ドリフトが不可欠であることが確認された。
• ハイパーパramータ分析の結果、高ランクのウィシャート近似に強い好みは示されず、低ランク構造がしばしば十分であり、ウィシャート過程の学習が依然として挑戦的であることが示された。