[論文レビュー] Learning Stochastic Behaviour from Aggregate Data

Shaojun Ma, Shu Liu+2 more|arXiv (Cornell University)|Feb 10, 2020

Generative Adversarial Networks and Image Synthesis参考文献 42被引用数 6

ひとこと要約

本稿では、個々の軌道が観測されていない集計データから非線形確率的力学を学習するための新規手法を提案する。弱形式のフォッカー・プランク方程式（FPE）とワーサーテインGANフレームワークを活用し、予測された分布と実測分布の間のワーサーテイン距離を最小化することで、ニューラルネットワークが確率的微分方程式（SDE）のドリフト項を推定する。FPEを直接解くことなく、密度の時間発展を高精度にモデル化できる。

ABSTRACT

Learning nonlinear dynamics from aggregate data is a challenging problem because the full trajectory of each individual is not available, namely, the individual observed at one time may not be observed at the next time point, or the identity of individual is unavailable. This is in sharp contrast to learning dynamics with full trajectory data, on which the majority of existing methods are based. We propose a novel method using the weak form of Fokker Planck Equation (FPE) -- a partial differential equation -- to describe the density evolution of data in a sampled form, which is then combined with Wasserstein generative adversarial network (WGAN) in the training process. In such a sample-based framework we are able to learn the nonlinear dynamics from aggregate data without explicitly solving the partial differential equation (PDE) FPE. We demonstrate our approach in the context of a series of synthetic and real-world data sets.

研究の動機と目的

• 個々の軌道が観測可能でない、もしくは同定不可能な集計データから非線形力学を学ぶ課題に対処すること。
• 実世界の応用（例えば、渡り鳥の移動や社会的ダイナミクス）ではしばしば入手不可能な、完全な軌道データに依存する従来の手法の制限を克服すること。
• 異なる時刻におけるサンプリングされた分布から、SDEのドリフト項をデータ駆動型で推定する手法を開発すること。
• 個々のレベルの追跡が不要な状況でも、時間的なかい離と密度発展の予測を高精度に可能にすること。
• Fokker-Planck方程式を直接解かずに、理論的裏付けを備えた、サンプルベースのフレームワークを提供すること。

提案手法

• 確率的力学下での確率密度の時間発展を記述する弱形式のフォッカー・プランク方程式（FPE）を用いて問題を定式化する。
• SDEのドリフト項を、ワーサーテインGAN（WGAN）フレームワーク内の生成器として扱い、弱FPEにおける試験関数をディスクライマーとして用いる。
• 集計データからの実測分布と、学習済みドリフトによって生成された予測分布との間のワーサーテイン距離を最小化する。
• ドリフト関数をニューラルネットワークでパラメータ化することで、高次元系へのスケーラビリティを実現する。
• 初期モデルでは拡散項を定数として扱うが、ニューラルネットワークによる学習可能な拡散項への拡張も可能である。
• 弱FPEを介して時間統合されたサンプルの勾配を逆伝播可能にすることで、確率的勾配降下法を用いてモデルをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 個々の軌道が入手不可な集計データから、真の確率的力学を高精度に回復できるか？
• RQ2 フォッカー・プランク方程式を直接解かずに、確率密度の時間発展をどのようにモデル化できるか？
• RQ3 GANベースのフレームワークは、観測済み分布と生成済み分布の間のワーサーテイン距離をマッチングさせることで、SDEのドリフト項を効果的に学習できるか？
• RQ4 真のドリフト場が回転場（発散なし）である場合、この手法にどのような制限が生じるか？（密度に影響を与えないため学習信号が得られないため）
• RQ5 このフレームワークを、SDEにおける未知の拡散係数を学習可能にするためにどの程度拡張できるか？

主な発見

• 本手法は、実測分布と生成分布の間のワーサーテイン距離を最小化することで、集計データからSDEのドリフト項を効果的に学習できる。
• 非回転場ドリフトを有する合成データにおいて、図5(a)および(b)に示すように、モデルは真のベクトル場を高精度に回復する。
• 真のドリフトが回転場（例：(y, -x)）である場合、密度に変化がないため学習信号が得られず、モデルはベクトル場を回復できない。
• 本フレームワークは、未知の拡散関数の学習にも一般化可能である。ドリフトを無視した場合、図6に示すように、真の拡散行列 σ = [(1,0),(0,2)] を効果的に回復する。
• 個々の軌道データが入手不可な状況下でも、時間的なかい離および密度発展の予測が高精度で可能である。
• 付録における理論的分析により、提案手法の誤差バウンドが確立され、統計的一貫性が裏付けられている。