[论文解读] Modeling Continuous Stochastic Processes with Dynamic Normalizing Flows

Ruizhi Deng, Bo Chang+3 more|arXiv (Cornell University)|Feb 24, 2020

Time Series Analysis and Forecasting参考文献 46被引用 18

一句话总结

本文提出了连续时间流过程（CTFP），一种通过时间依赖的可逆变换对维纳过程进行变形的归一化流模型，以生成灵活的连续时间随机过程。该方法支持精确似然计算、高效采样，并可在不规则时间网格上实现插值与外推，其在建模复杂不规则时间序列数据方面优于变分RNN和潜在ODE模型。

ABSTRACT

Normalizing flows transform a simple base distribution into a complex target distribution and have proved to be powerful models for data generation and density estimation. In this work, we propose a novel type of normalizing flow driven by a differential deformation of the Wiener process. As a result, we obtain a rich time series model whose observable process inherits many of the appealing properties of its base process, such as efficient computation of likelihoods and marginals. Furthermore, our continuous treatment provides a natural framework for irregular time series with an independent arrival process, including straightforward interpolation. We illustrate the desirable properties of the proposed model on popular stochastic processes and demonstrate its superior flexibility to variational RNN and latent ODE baselines in a series of experiments on synthetic and real-world data.

研究动机与目标

• 开发一种支持灵活连续动力学和不规则时间网格的连续时间生成模型。
• 在保持维纳过程计算优势（如精确似然和高效采样）的同时，增强其表达能力。
• 实现在任意时间戳的插值与外推，解决离散时间模型的局限性。
• 与变分RNN和潜在ODE等现有方法相比，提升对现实世界不规则时间序列数据的建模能力。
• 通过引入隐变量扩展框架，以增强表达能力并更好地拟合数据分布。

提出的方法

• 该模型使用连续时间归一化流，通过时间依赖的可逆映射将基础维纳过程转换为复杂可观测过程。
• 该变换由定义流动力学的神经ODE控制，确保样本路径的连续性和可逆性。
• 通过迹的计算高效地计算变换的雅可比行列式，具体使用精确计算或Hutchinson估计器，取决于维度高低。
• 为增强表达能力，引入隐变量，形成通过变分推断训练的潜在CTFP模型。
• 通过利用基础维纳过程的可逆性和解析可处理性，实现精确似然评估和高效采样。
• 该框架自然地处理非均匀采样的观测数据，并通过条件化于观测数据点，实现插值与外推。

实验结果

研究问题

• RQ1 能否构建一种连续时间归一化流，以在保持维纳过程计算优势的同时，对复杂随机过程进行建模？
• RQ2 与离散时间基线相比，所提出的模型在不规则时间网格上的插值与外推性能如何？
• RQ3 在CTFP框架中引入隐变量是否显著提升了模型容量和真实时间序列上的似然性能？
• RQ4 在似然和生成质量方面，CTFP相较于最先进的模型（如变分RNN和潜在ODE）的优越程度如何？
• RQ5 在高维设置下，使用精确与近似雅可比行列式迹估计对训练稳定性和性能的影响如何？

主要发现

• 潜在CTFP模型在所有真实世界数据集上均达到最低的负对数似然，其中在Mujoco-Hopper数据集上得分为-31.397 ± 0.063，优于潜在ODE和VRNN。
• 在北京空气质量数据集中，潜在CTFP的负对数似然为-6.894 ± 0.046，显著优于次佳模型（潜在ODE：-2.789）。
• 在PTB诊断数据库中，潜在CTFP的负对数似然为-1.999 ± 0.010，与最佳性能模型持平，但训练稳定性更优。
• CTFP模型实现了精确似然计算和高效采样，支持在任意时间戳进行精确插值与外推。
• 使用精确雅可比行列式迹估计（潜在CTFP-ET）相比Hutchinson估计器，显著提升了训练稳定性和性能，尤其在高维设置下。
• 该模型在捕捉合成与真实世界时间序列中复杂非线性动态方面表现出卓越灵活性，尤其在非均匀采样场景下。