[論文レビュー] Generative Ensemble-Regression: Learning Stochastic Dynamics from Discrete Particle Ensemble Observations.

Liu Yang, Constantinos Daskalakis+1 more|arXiv (Cornell University)|Aug 5, 2020

Model Reduction and Neural Networks参考文献 10被引用数 13

ひとこと要約

本稿では、スプライスドでペairedでない粒子アンサンブル観測から確率的微分方程式を推定するための Generative Ensemble-Regression を提案する。本手法は、スライスド・ワサースタイン距離や敵対的損失を用いて、確率測度空間における観測された分布ダイナミクスに一致するように生成モデルを訓練することで、そのような観測から漂移項と拡散項を推定する。本手法は、ブラウン運動およびレヴィ過程を駆動とする20次元までのSDEにおいて、漂移項と拡散項を成功裏に学習でき、理論的収束保証を有する。

ABSTRACT

We propose a new method for inferring the governing stochastic ordinary differential equations by observing particle ensembles at discrete and sparse time instants, i.e., multiple Particle coordinates at a single time instant, possibly noisy or truncated, are recorded in each snapshot but are unpaired across the snapshots. By training a generative model that generates fake sample paths, we aim to fit the observed particle ensemble distributions with a curve in the probability measure space, which is induced from the inferred particle dynamics. We employ different metrics to quantify the differences between distributions, like the sliced Wasserstein distances and the adversarial losses in generative adversarial networks. We refer to this approach as generative ensemble-regression, in analogy to the classic point-regression, where we infer the dynamics by performing regression in the Euclidean space, e.g. linear/logistic regression. We illustrate the ensemble-regression by learning the drift and diffusion terms of particle ensembles governed by stochastic ordinary differential equations with Brownian motions and Levy processes up to 20 dimensions. We also discuss how to treat cases with noisy or truncated observations, as well as the scenario of paired observations, and we prove a theorem for the convergence in Wasserstein distance for continuous sample spaces.

研究の動機と目的

• 粒子の識別子が時間経過で追跡されない、離散的かつペairedでない粒子アンサンブル観測から確率的ダイナミクスを学ぶという課題に対処すること。
• 点ごとの軌道ではなく、確率測度空間における観測された分布データに適合させることで、支配的SDEを同定するフレームワークを開発すること。
• 観測がノイズや切断によって損なわれるなどの実用的課題を推定プロセスに組み込むこと。
• 連続的なサンプル空間の仮定の下で、推定されたダイナミクスがワサースタイン距離において収束することを確立すること。
• 点回帰からアンサンブルレベルの回帰に拡張するため、粒子アンサンブルの分布を測度空間内の曲線としてモデル化すること。

提案手法

• 離散的な時刻における粒子アンサンブルの周辺分布を再現するサンプルパスを合成する生成モデルを訓練する。
• 実際のアンサンブルと生成されたアンサンブルの間の分布差を測定・最小化するために、スライスド・ワサースタイン距離と敵対的損失を用いる。
• 点回帰とは類似したが、分布を対象とする回帰として、測度空間における確率測度の空間における回帰問題として推定問題を定式化する。
• 未知の漂移項と拡散係数を有する確率的常微分方程式を用いてダイナミクスをモデル化し、生成モデルによる訓練によって同定する。
• 観測が不完全または汚染されている場合にも耐性を持つように、生成モデルを設計してノイズや切断を組み込む。
• 基礎過程にやや弱い正則性条件が課せられる場合でも、推定された測度値曲線がワサースタイン距離において収束することを証明する。

実験結果

リサーチクエスチョン

• RQ1 時間経過でペアリングされていないスプライスドな観測から、粒子アンサンブルの漂移項および拡散係数を正確に推定できるか？
• RQ2 粒子の識別子が保持されない状況において、粒子アンサンブルの進化を測度空間内の曲線としてどのようにモデル化できるか？
• RQ3 ノイズや切断された観測下で、粒子アンサンブルの周辺分布を一致させるために最も効果的な生成モデル技法は何か？
• RQ4 スライスド・ワサースタイン距離と敵対的損失を用いることで、標準的なGANやモーメントマッチングに比べて、推定ダイナミクスの忠実性がどのように向上するか？
• RQ5 推定された測度値曲線が、ワサースタイン距離において真の基礎的ダイナミクスに収束する条件は何か？

主な発見

• 提案された Generative Ensemble-Regression 法は、ブラウン運動およびレヴィ過程を駆動とする20次元までのSDEにおいて、ペアリングされていないスプライスドな観測から漂移項と拡散項を成功裏に学習できた。
• スライスド・ワサースタイン距離と敵対的損失の使用により、粒子が時間点間で追跡されない状況でも、正確な分布マッチングが可能になった。
• 生成モデルが測定不確実性を暗黙的に捉えるように学習したため、ノイズや切断された観測に対しても本手法は耐性を示した。
• 理論的分析により、連続的サンプル空間の仮定の下で、推定された測度値ダイナミクスと真のダイナミクスとの間のワサースタイン距離における収束が保証された。
• 本フレームワークは、測度空間における動作により、古典的点回帰をアンサンブルレベルのダイナミクス推定に一般化した。
• 実験的結果により、生成モデルが分布類似性指標によって裏付けられる高精度の忠実度で、基礎の確率的ダイナミクスを再構築できることを示した。