[论文解读] Learning Deep Hidden Nonlinear Dynamics from Aggregate Data

Yisen Wang, Bo Dai+4 more|arXiv (Cornell University)|Jul 22, 2018

Generative Adversarial Networks and Image Synthesis参考文献 24被引用 3

一句话总结

该论文提出LEGEND，一种深度生成模型，通过使用Wasserstein距离实现无需似然和后验分布的推断，从聚合数据中学习非线性隐藏动态。通过将复杂扩散过程建模为潜在随机过程，并利用分布对齐进行优化，LEGEND在合成数据和真实世界数据集的滤波与平滑任务中实现了最先进性能，且具备理论上的收敛性和泛化保证。

ABSTRACT

Learning nonlinear dynamics from diffusion data is a challenging problem since the individuals observed may be different at different time points, generally following an aggregate behaviour. Existing work cannot handle the tasks well since they model such dynamics either directly on observations or enforce the availability of complete longitudinal individual-level trajectories. However, in most of the practical applications, these requirements are unrealistic: the evolving dynamics may be too complex to be modeled directly on observations, and individual-level trajectories may not be available due to technical limitations, experimental costs and/or privacy issues. To address these challenges, we formulate a model of diffusion dynamics as the {\em hidden stochastic process} via the introduction of hidden variables for flexibility, and learn the hidden dynamics directly on {\em aggregate observations} without any requirement for individual-level trajectories. We propose a dynamic generative model with Wasserstein distance for LEarninG dEep hidden Nonlinear Dynamics (LEGEND) and prove its theoretical guarantees as well. Experiments on a range of synthetic and real-world datasets illustrate that LEGEND has very strong performance compared to state-of-the-art baselines.

研究动机与目标

• 解决在缺乏个体纵向轨迹的情况下学习复杂非线性扩散动态的挑战。
• 建模控制随时间演变的聚合观测值的隐藏连续随机过程，而无需完整追踪个体。
• 开发一种无需似然和后验分布的动态参数估计与隐藏状态推断学习框架。
• 为所提方法提供泛化和收敛性的理论保证。
• 在合成数据和真实世界数据集（包括细胞分化和鸟类迁徙）上实证验证该框架。

提出的方法

• 将潜在动态建模为隐藏状态空间 $X_t$ 中的连续随机微分方程（SDE）。
• 将观测值 $Y_t$ 建模为隐藏状态的非线性函数 $\mathbf{f}(X_t)$，以支持复杂的观测映射。
• 使用深度神经网络（如带有LSTM的RNN）参数化漂移函数 $\mathbf{g}(X_t)$ 和观测函数 $\mathbf{f}(X_t)$。
• 通过预测与真实观测值的边缘分布之间的Wasserstein距离来优化模型参数。
• 应用一种动态生成模型，通过分布匹配联合学习隐藏动态和观测映射。
• 通过使用分布差异作为训练目标，绕过基于似然的估计和后验推断。

实验结果

研究问题

• RQ1 深度生成模型能否在缺乏个体轨迹的情况下，从未知的聚合观测中学习复杂的非线性动态？
• RQ2 Wasserstein距离能否作为隐藏动态系统中基于似然训练的有效替代目标？
• RQ3 所提框架在滤波和平滑任务中是否优于最先进基线方法？
• RQ4 在此类无需似然、无需后验的设定下，能够提供哪些泛化与收敛性的理论保证？
• RQ5 该模型能否同时捕捉多变量动态中的边缘分布和相关性结构？

主要发现

• 在基因表达数据的滤波（D7）和平滑（D4）任务中，LEGEND在Wasserstein误差上均达到最低，优于所有基线方法。
• 如图3所示，Krt8和Krt18的预测边缘分布与真实分布高度吻合，表明对动态演化的准确建模。
• 如图4所示，LEGEND有效捕捉了Krt8与Krt18随时间变化的相关性结构，其预测结果比基线方法更接近真实值。
• 在鸟类迁徙数据上，LEGEND在滤波（6月）和平滑（4月）任务中均实现了最低的Wasserstein误差，证明了其在真实世界复杂动态中的鲁棒性。
• 理论分析建立了泛化与收敛性边界，为这一类无需似然、无需后验的动态学习框架提供了首次此类理论保证。
• 即使在高度非线性且受不规则环境因素影响的动态中（如鸟类迁徙），该模型仍表现出强劲性能。