[论文解读] Longitudinal Variational Autoencoder

Siddharth Ramchandran, Gleb Tikhonov+3 more|arXiv (Cornell University)|Jun 17, 2020

Gaussian Processes and Bayesian Inference参考文献 13被引用 4

一句话总结

本文提出纵向变分自编码器（L-VAE），一种深度生成模型，采用多输出加法高斯过程先验，从具有缺失值的纵向数据中学习结构化、低维表示。通过推导更紧致的KL散度上界并支持小批量随机梯度下降（SGD）训练，L-VAE能够捕捉共享与个体特定的时间动态，在合成数据集和临床数据集（最高达80%缺失数据）上，其在数据填补、重构和长期预测任务中均优于当前最先进方法。

ABSTRACT

Longitudinal datasets measured repeatedly over time from individual subjects, arise in many biomedical, psychological, social, and other studies. A common approach to analyse high-dimensional data that contains missing values is to learn a low-dimensional representation using variational autoencoders (VAEs). However, standard VAEs assume that the learnt representations are i.i.d., and fail to capture the correlations between the data samples. We propose the Longitudinal VAE (L-VAE), that uses a multi-output additive Gaussian process (GP) prior to extend the VAE's capability to learn structured low-dimensional representations imposed by auxiliary covariate information, and derive a new KL divergence upper bound for such GPs. Our approach can simultaneously accommodate both time-varying shared and random effects, produce structured low-dimensional representations, disentangle effects of individual covariates or their interactions, and achieve highly accurate predictive performance. We compare our model against previous methods on synthetic as well as clinical datasets, and demonstrate the state-of-the-art performance in data imputation, reconstruction, and long-term prediction tasks.

研究动机与目标

• 解决标准VAE在捕捉具有缺失值的纵向数据集中时间相关性与个体特异性动态方面的局限性。
• 开发一种基于加法高斯过程先验的可扩展、高效的结构化潜在空间推理方法。
• 实现潜在空间中个体协变量效应及其相互作用的解耦。
• 提升在高维纵向数据上的数据填补、重构与长期预测任务的预测性能。
• 提供一种生成模型，可将时间以外的辅助协变量（如年龄、性别和临床指标）纳入建模。

提出的方法

• L-VAE采用多输出加法高斯过程（GP）先验，以建模潜在空间中的结构化依赖关系，捕捉共享与个体特异的时间动态。
• 推导出一种新颖且更紧致的近似后验与GP先验之间KL散度的上界，提升了变分推断的稳定性和准确性。
• 通过利用加法GP协方差函数的结构，实现小批量随机梯度下降（SGD）训练，显著提升了对大规模数据集的可扩展性。
• 模型联合学习随时间平滑演化的低维潜在表示，其条件依赖于年龄、性别和事件发生时间等辅助协变量。
• 支持通过反向传播进行端到端训练，解码器从潜在编码重构观测数据，编码器推断后验分布。
• 使用贝叶斯分类器进行下游任务（如死亡率预测），其基于生成模型计算的边际对数似然值。

实验结果

研究问题

• RQ1 通过引入辅助协变量信息，变分自编码器能否有效建模具有缺失值的纵向数据中的时间相关性？
• RQ2 与标准VAE相比，使用加法GP先验是否能获得更紧致且计算更高效的变分推断上界？
• RQ3 该模型能否在保持高重构与预测准确率的同时，实现潜在空间中个体协变量效应及其相互作用的解耦？
• RQ4 在具有高缺失率的真实临床数据集上，L-VAE在数据填补、重构与长期预测任务中与最先进方法相比表现如何？
• RQ5 与以往依赖全批量训练的GP-基VAE不同，该模型是否能通过小批量SGD实现对大规模纵向数据集的高效扩展？

主要发现

• 在缺失率达80%的PhysioNet Challenge 2012数据集上，L-VAE在院内死亡率预测任务中AUC-ROC达0.888，优于GP-VAE、BRITS与GRUI-GAN。
• 当潜在维度为32时，L-VAE在重构任务中达到最低均方误差（MSE）0.025 ± 0.0015，优于GPPVAE（0.057 ± 0.003）与VRNN（0.049 ± 0.004）。
• 该模型在长期预测与数据填补任务中表现优异，尤其在捕捉复杂时间动态与个体特异性模式方面优势显著。
• 推导出的KL散度上界在理论上比Titsias（2009）的自由形式变分上界更紧致，从而提升了变分推断的质量。
• 通过结构化的加法GP先验，成功实现了小批量SGD训练，使模型可高效扩展至大规模数据集，而GPPVAE与GP-VAE则依赖全周期训练。
• L-VAE有效解耦了年龄、性别和死亡时间等辅助协变量的影响，实现了可解释性强且准确的下游分类任务。