[论文解读] Markovian Gaussian Process Variational Autoencoders

Harrison Zhu, Carles Balsells Rodas+1 more|arXiv (Cornell University)|Jul 12, 2022

Gaussian Processes and Bayesian Inference被引用 5

一句话总结

本文提出马尔可夫高斯过程变分自编码器（MGPVAE），一种可扩展的序列变分自编码器，通过利用马尔可夫高斯过程的等价离散状态空间表示，实现基于卡尔曼滤波与平滑的线性时间训练。通过结合高斯过程的全局归纳偏置与线性状态空间模型的计算效率，MGPVAE 在高维时间序列与时空任务上实现了最先进性能，同时在长序列上保持了可扩展性。

ABSTRACT

Sequential VAEs have been successfully considered for many high-dimensional time series modelling problems, with many variant models relying on discrete-time mechanisms such as recurrent neural networks (RNNs). On the other hand, continuous-time methods have recently gained attraction, especially in the context of irregularly-sampled time series, where they can better handle the data than discrete-time methods. One such class are Gaussian process variational autoencoders (GPVAEs), where the VAE prior is set as a Gaussian process (GP). However, a major limitation of GPVAEs is that it inherits the cubic computational cost as GPs, making it unattractive to practioners. In this work, we leverage the equivalent discrete state space representation of Markovian GPs to enable linear time GPVAE training via Kalman filtering and smoothing. For our model, Markovian GPVAE (MGPVAE), we show on a variety of high-dimensional temporal and spatiotemporal tasks that our method performs favourably compared to existing approaches whilst being computationally highly scalable.

研究动机与目标

• 为解决高斯过程变分自编码器（GPVAE）的立方级计算成本问题，该问题限制了其在长序列上的可扩展性。
• 将高斯过程的全局归纳偏置（如平滑性与周期性）与离散时间状态空间模型的计算效率相结合。
• 通过利用连续时间高斯过程先验，实现对不规则采样时间序列的有效建模。
• 开发一种可扩展的现有序列变分自编码器的替代方案，避免神经型常微分方程（ODE）与随机微分方程（SDE）的训练不稳定与数值问题。
• 在保持线性时间复杂度的同时，实现在高维时间序列与时空数据集上的竞争力表现。

提出的方法

• 该方法使用马尔可夫高斯过程，其可通过线性随机微分方程（SDE）实现精确的线性状态空间表示。
• 潜在动态被建模为线性高斯状态空间，从而通过卡尔曼滤波与平滑实现高效推理。
• 编码器输出用于参数化潜在状态的后验分布，随后通过滤波与平滑过程进行推理。
• 模型通过证据下界（ELBO）端到端训练，推理期间可在任意时间点计算后验预测分布。
• 通过利用高斯过程先验的连续时间特性，该框架支持规则与不规则采样时间序列。
• 实现采用 JAX 与 Objax 进行高效计算，基于 ELBO 的随机梯度优化进行训练。

实验结果

研究问题

• RQ1 能否将 GPVAE 的计算成本从 O(T³) 降低至 O(T)，同时保持其对全局时间结构的建模能力？
• RQ2 能否在变分自编码器框架中，有效结合高斯过程的连续时间归纳偏置与离散线性状态空间模型的效率？
• RQ3 所提出的 MGPVAE 是否在长序列、高维且不规则采样时间序列上优于现有序列变分自编码器？
• RQ4 在时空设置中，该模型能否在未见时间点与空间位置上实现高精度预测？
• RQ5 MGPVAE 的线性时间训练是否在多种时间序列与时空数据集上均表现出鲁棒性与可扩展性？

主要发现

• MGPVAE 在高维时间序列与时空基准测试中实现了最先进性能，包括气候数据与机器人控制序列。
• 模型在未见时间点上表现出强大泛化能力，推理期间可在任意 t 处计算准确的后验预测分布。
• 在 ERA5 气候数据集上，MGPVAE 的测试负对数似然（NLL）与均方根误差（RMSE）均低于 SVGPVAE、VRNN 与 KVAE，且训练时间显著减少。
• 该模型保持了线性时间复杂度，可在长序列（如 T=100）上训练，避免了标准 GPVAE 的 O(T³) 计算瓶颈。
• 在不规则采样数据上，MGPVAE 优于 latentODE 与 CRU，其可基于任意时间点进行条件建模，并在任意 t ∈ (t₀, tₙ) 处进行预测。
• 使用卡尔曼滤波与平滑实现了潜在状态空间中的精确后验推理，提升了训练稳定性与预测准确性。