[论文解读] Learning Stochastic Behaviour from Aggregate Data

Shaojun Ma, Shu Liu+2 more|arXiv (Cornell University)|Feb 10, 2020

Generative Adversarial Networks and Image Synthesis参考文献 42被引用 6

一句话总结

本文提出了一种新颖的方法，通过利用Fokker-Planck方程（FPE）的弱形式与Wasserstein GAN框架，从未观测到个体轨迹的聚合数据中学习非线性随机动力学。该方法通过最小化预测分布与经验分布之间的Wasserstein距离，训练神经网络以估计随机微分方程（SDE）的漂移项，从而实现无需显式求解FPE的精确密度演化建模。

ABSTRACT

Learning nonlinear dynamics from aggregate data is a challenging problem because the full trajectory of each individual is not available, namely, the individual observed at one time may not be observed at the next time point, or the identity of individual is unavailable. This is in sharp contrast to learning dynamics with full trajectory data, on which the majority of existing methods are based. We propose a novel method using the weak form of Fokker Planck Equation (FPE) -- a partial differential equation -- to describe the density evolution of data in a sampled form, which is then combined with Wasserstein generative adversarial network (WGAN) in the training process. In such a sample-based framework we are able to learn the nonlinear dynamics from aggregate data without explicitly solving the partial differential equation (PDE) FPE. We demonstrate our approach in the context of a series of synthetic and real-world data sets.

研究动机与目标

• 解决从聚合数据中学习非线性动力学的挑战，其中个体轨迹不可观测或无法识别。
• 克服现有方法依赖完整轨迹数据的局限性，而此类数据在现实应用（如鸟类迁徙或社会动态）中往往不可得。
• 开发一种数据驱动方法，从未同时刻采样分布中推断SDE的漂移项。
• 实现在无需个体水平追踪的情况下，对时间上密度演化的精确插值与预测。
• 提供一个理论基础坚实的、基于样本的框架，避免直接求解Fokker-Planck方程。

提出的方法

• 使用Fokker-Planck方程（FPE）的弱形式来表述问题，该形式描述了在随机动力学下概率密度的演化。
• 将SDE的漂移项视为Wasserstein GAN（WGAN）框架中的生成器，其中弱FPE中的测试函数充当判别器。
• 最小化来自聚合数据的经验分布与通过学习到的漂移生成的预测分布之间的Wasserstein距离。
• 使用神经网络参数化漂移函数，从而实现对高维系统的可扩展性。
• 在初始模型中将扩散项保持为常数，尽管通过神经网络学习可扩散项在理论上是可行的。
• 使用随机梯度下降端到端训练模型，通过弱FPE形式对时间积分样本进行反向传播。

实验结果

研究问题

• RQ1 我们能否从未观测到个体轨迹的聚合数据中准确恢复潜在的随机动力学？
• RQ2 我们如何在不显式求解Fokker-Planck方程的情况下建模概率密度的演化？
• RQ3 基于GAN的框架能否通过匹配观测分布与生成分布之间的Wasserstein距离，有效学习SDE的漂移项？
• RQ4 当真实漂移场为旋度场（即散度为零）时，该方法存在哪些局限性，因其不会改变密度？
• RQ5 该框架在多大程度上可扩展以学习SDE中未知的扩散系数？

主要发现

• 该方法通过最小化经验分布与生成分布之间的Wasserstein距离，成功地从聚合数据中学习了SDE的漂移项。
• 在具有非旋度漂移场的合成数据上，模型准确恢复了真实的向量场，如图5(a)和(b)所示。
• 当真实漂移为旋度场（例如 (y, -x)）时，该方法无法恢复向量场，因为密度保持不变，学习过程中缺乏信号。
• 该框架可推广至学习未知的扩散函数：当忽略漂移时，模型成功恢复了真实扩散矩阵 σ = [(1,0),(0,2)]，如图6所示。
• 即使无法获取个体轨迹，该方法仍能实现对时间点间密度演化的精确插值与预测。
• 附录中的理论分析建立了所提模型的误差界，支持其统计一致性。