[论文解读] Generative Ensemble-Regression: Learning Stochastic Dynamics from Discrete Particle Ensemble Observations.

Liu Yang, Constantinos Daskalakis+1 more|arXiv (Cornell University)|Aug 5, 2020

Model Reduction and Neural Networks参考文献 10被引用 13

一句话总结

本文提出生成式集成回归（Generative Ensemble-Regression）方法，通过训练生成模型在概率测度空间中匹配观测到的分布动力学，利用切片Wasserstein距离和对抗性损失等度量，从稀疏、未配对的粒子集合观测中推断随机微分方程（SDE）。该方法成功在高达20维的SDE中学习到由布朗运动和Lévy过程驱动的漂移项与扩散项，且具有理论收敛保证。

ABSTRACT

We propose a new method for inferring the governing stochastic ordinary differential equations by observing particle ensembles at discrete and sparse time instants, i.e., multiple Particle coordinates at a single time instant, possibly noisy or truncated, are recorded in each snapshot but are unpaired across the snapshots. By training a generative model that generates fake sample paths, we aim to fit the observed particle ensemble distributions with a curve in the probability measure space, which is induced from the inferred particle dynamics. We employ different metrics to quantify the differences between distributions, like the sliced Wasserstein distances and the adversarial losses in generative adversarial networks. We refer to this approach as generative ensemble-regression, in analogy to the classic point-regression, where we infer the dynamics by performing regression in the Euclidean space, e.g. linear/logistic regression. We illustrate the ensemble-regression by learning the drift and diffusion terms of particle ensembles governed by stochastic ordinary differential equations with Brownian motions and Levy processes up to 20 dimensions. We also discuss how to treat cases with noisy or truncated observations, as well as the scenario of paired observations, and we prove a theorem for the convergence in Wasserstein distance for continuous sample spaces.

研究动机与目标

• 解决在缺乏时间序列中粒子身份追踪的情况下，从离散、未配对的粒子集合观测中学习随机动力学的挑战。
• 开发一种框架，通过在概率测度空间中拟合观测到的分布数据而非点对点轨迹来推断控制SDE的方程。
• 处理实际中的复杂情况，如观测数据中的噪声或截断问题。
• 在连续样本空间假设下，建立推断动力学在Wasserstein距离下的理论收敛性。
• 通过将经典点回归推广为集合层面回归，将粒子集合的分布建模为测度空间中的曲线。

提出的方法

• 训练生成模型以合成样本路径，使其在离散时间点重现观测到的粒子集合的边缘分布。
• 使用切片Wasserstein距离和对抗性损失来度量并最小化真实与生成集合之间的分布差异。
• 将推断问题形式化为在概率测度空间中的回归问题，类似于点回归，但作用于分布本身。
• 通过生成式训练推断未知漂移与扩散系数，使用随机常微分方程建模动力学。
• 通过设计生成模型以考虑不完整或受损观测，增强对噪声和截断的鲁棒性。
• 在底层过程满足弱正则性条件的假设下，证明推断测度值曲线在Wasserstein距离下的收敛性。

实验结果

研究问题

• RQ1 我们能否从时间序列中稀疏、未配对的粒子集合观测中准确推断SDE的漂移与扩散系数？
• RQ2 当粒子身份在时间上不被保留时，如何将粒子集合的演化建模为概率测度空间中的一条曲线？
• RQ3 在存在噪声或截断观测的情况下，哪种生成建模技术最有效地匹配粒子集合的边缘分布？
• RQ4 与标准GAN或矩匹配方法相比，使用切片Wasserstein距离和对抗性损失如何提升推断动力学的保真度？
• RQ5 在何种条件下，推断的测度值曲线会在Wasserstein距离下收敛到真实的底层动力学？

主要发现

• 所提出的生成式集成回归方法成功从未配对、稀疏的观测中，在高达20维的SDE中学习到由布朗运动和Lévy过程驱动的漂移项与扩散项。
• 切片Wasserstein距离与对抗性损失的使用，使得即使在无法追踪粒子时间序列的情况下，也能实现精确的分布匹配。
• 该方法通过学习隐式考虑测量不确定性的生成模型，对噪声和截断观测表现出鲁棒性。
• 理论分析证明，在连续样本空间假设下，推断测度值动力学与真实测度值动力学之间的Wasserstein距离收敛。
• 该框架通过在概率测度空间中操作，将经典点回归推广为集合层面的动力学推断。
• 实验结果表明，生成模型能够以高保真度重建底层随机动力学，经由分布相似性度量验证。