[论文解读] GP-VAE: Deep Probabilistic Time Series Imputation

Vincent Fortuin, Dmitry Baranchuk+2 more|arXiv (Cornell University)|Jul 9, 2019

Gaussian Processes and Bayesian Inference参考文献 45被引用 29

一句话总结

GP-VAE 通过在潜在空间中结合变分自编码器与高斯过程先验，提出了一种用于多变量时间序列插补的深度概率模型，实现了平滑且具备不确定性感知的插补。在医疗保健和计算机视觉数据上，其性能优于经典方法和深度学习方法，同时提供可解释的不确定性估计和改进的时间平滑性。

ABSTRACT

Multivariate time series with missing values are common in areas such as healthcare and finance, and have grown in number and complexity over the years. This raises the question whether deep learning methodologies can outperform classical data imputation methods in this domain. However, naive applications of deep learning fall short in giving reliable confidence estimates and lack interpretability. We propose a new deep sequential latent variable model for dimensionality reduction and data imputation. Our modeling assumption is simple and interpretable: the high dimensional time series has a lower-dimensional representation which evolves smoothly in time according to a Gaussian process. The non-linear dimensionality reduction in the presence of missing data is achieved using a VAE approach with a novel structured variational approximation. We demonstrate that our approach outperforms several classical and deep learning-based data imputation methods on high-dimensional data from the domains of computer vision and healthcare, while additionally improving the smoothness of the imputations and providing interpretable uncertainty estimates.

研究动机与目标

• 解决医疗保健与金融领域中多变量时间序列缺失值插补的挑战。
• 克服经典方法缺乏可解释性且在缺失数据下表现不佳，以及深度学习模型通常缺乏不确定性量化的问题。
• 开发一种生成模型，通过低维潜在动态联合利用通道内的时序相关性与通道间的依赖关系。
• 实现高效、结构化的变分推断，捕捉时序后验相关性，同时保持线性时间复杂度。
• 提供可解释的不确定性估计与平滑插补结果，适用于临床等实际决策场景。

提出的方法

• 使用深度变分自编码器（VAE）将高维、不完整的时间序列映射到低维潜在空间，以在潜在空间中解决缺失值问题。
• 在潜在空间中使用高斯过程（GP）先验建模时序动态，引入一种新型柯西核以捕捉多尺度动态特性。
• 提出一种结构化变分近似方法，利用另一个高斯过程建模后验分布，保留时序相关性并实现高效推断。
• 通过使推理网络与生成网络均具备可微性，确保端到端可微，支持联合优化。
• 采用卷积推理网络与深层前馈生成网络，并在时间步之间共享权重，以建模复杂非线性关系。
• 通过结构化变分近似实现线性时间复杂度采样，避免完整高斯过程推断的立方级计算开销。

实验结果

研究问题

• RQ1 在具有缺失数据的多变量时间序列上，具有潜在空间高斯过程先验的深度隐变量模型是否能优于经典方法与深度学习插补方法？
• RQ2 GP-VAE 中的结构化变分推断方法是否能有效捕捉后验中的时序相关性，同时保持计算效率？
• RQ3 该模型在多大程度上能提供与数据稀疏性和噪声水平相关联的可靠不确定性估计？
• RQ4 该模型在医疗保健与计算机视觉等不同领域中的泛化能力如何？
• RQ5 与基线方法相比，该模型是否能在噪声较大或稀疏的临床数据中生成更平滑、更具可解释性的插补结果？

主要发现

• GP-VAE 在合成数据与真实世界数据上均优于经典方法，如均值插补、前向插补以及基于高斯过程的模型。
• 在 PhysioNet 数据集上，GP-VAE 的 AUROC 达到 0.730 ± 0.006，优于 VAE、HI-VAE、GRUI-GAN 及多数基线模型，且与最先进模型 BRITS 表现相当。
• 由于高斯过程先验的去噪作用（类似于卡尔曼滤波器），该模型生成的插补结果比基线更平滑。
• 变分后验提供的不确定性估计与数据稀疏性和测量噪声在定性上相关，可为临床决策提供可解释的置信区间。
• 结构化变分推断实现了从后验的线性时间采样，使模型在使用完整高斯过程先验的同时仍具备可扩展性。
• 该模型在代理任务（基于插补数据的逻辑回归）上的表现与真实似然度高度相关，验证了其插补质量的可靠性。