[论文解读] Heteroscedastic Temporal Variational Autoencoder For Irregular Time Series

Satya Narayan Shukla, Benjamin M. Marlin|arXiv (Cornell University)|Jul 23, 2021

Time Series Analysis and Forecasting被引用 7

一句话总结

该论文提出了一种异方差时间变分自编码器（HeTVAE），这是一种用于不规则采样多变量时间序列概率插值的深度生成模型。通过整合一种不确定性感知的多时间注意力编码器、双路径的确定性与概率性潜在路径，以及异方差输出层，HeTVAE 显式地建模了由于稀疏性导致的时间可变不确定性，在包括 PhysioNet 和 MIMIC-III 在内的合成数据集和真实世界数据集上实现了最先进的对数似然性能。

ABSTRACT

Irregularly sampled time series commonly occur in several domains where they present a significant challenge to standard deep learning models. In this paper, we propose a new deep learning framework for probabilistic interpolation of irregularly sampled time series that we call the Heteroscedastic Temporal Variational Autoencoder (HeTVAE). HeTVAE includes a novel input layer to encode information about input observation sparsity, a temporal VAE architecture to propagate uncertainty due to input sparsity, and a heteroscedastic output layer to enable variable uncertainty in output interpolations. Our results show that the proposed architecture is better able to reflect variable uncertainty through time due to sparse and irregular sampling than a range of baseline and traditional models, as well as recently proposed deep latent variable models that use homoscedastic output layers.

研究动机与目标

• 解决在观测稀疏性随时间变化的不规则采样多变量时间序列中进行概率插值的挑战。
• 通过显式建模可变输出不确定性，改进深度生成模型中的不确定性量化，与仅依赖潜在空间的同方差 VAE 不同。
• 通过引入结合 ELBO 与不确定性无关损失的增强训练目标，克服异方差输出带来的训练不稳定性。
• 在医疗保健和金融等缺失数据模式复杂且非均匀的领域，实现准确且具备不确定性的填补。

提出的方法

• 提出一种不确定性感知的多时间注意力网络（UnTAN），将输入稀疏性和特定时间的观测模式编码为分布式潜在表示。
• 采用双路径架构：一条确定性路径用于结构化信号传播，一条概率性路径用于不确定性建模。
• 使用异方差输出层，预测输出分布的均值和方差，从而实现在插值中时间可变的不确定性。
• 应用一种增强的训练目标，结合标准 ELBO 与不确定性无关损失，以防止模型收敛至将数据结构误认为噪声的局部最优解。
• 利用注意力机制对多个时间序列维度和参考时间点上的不规则采样观测进行对齐。
• 使用反向传播和基于梯度的优化方法进行端到端训练，实现对稀疏性编码、潜在表示和输出不确定性的联合学习。

实验结果

研究问题

• RQ1 通过显式建模输出方差而非仅依赖潜在空间不确定性，深度生成模型能否有效捕捉不规则采样时间序列中的时间可变不确定性？
• RQ2 与同方差 VAE 相比，引入异方差输出层在不规则时间序列上的概率插值性能提升程度如何？
• RQ3 所提出的增强训练目标在多大程度上缓解了由异方差输出结构引起的学习不稳定性？
• RQ4 确定性路径与概率性路径的分离设计在提升不确定性量化和重建精度方面起到了何种作用？
• RQ5 UnTAN 编码器对输入稀疏性的编码能力是否在存在可变观测间隙的情况下，优于标准注意力编码器？

主要发现

• HeTVAE 在 PhysioNet（0.5542 ± 0.0209）和 MIMIC-III（0.6662 ± 0.0023）上均取得了最佳对数似然性能，显著优于所有基线模型和当前最先进模型。
• 消融实验表明，移除增强训练目标（HeTVAE - ALO）在 PhysioNet 上导致性能下降 9.8%，表明其在避免陷入次优局部最优解中的关键作用。
• 移除确定性路径（HeTVAE - DET）在 MIMIC-III 上带来 3.5% 的性能提升，凸显其在建模复杂信号结构方面的贡献。
• 完整模型（HeTVAE）在 PhysioNet 上相较于 HTVAE-mTAN 基线模型实现了 28.6% 的对数似然性能提升，证明了异方差输出和双路径结构的优势。
• 移除除同方差输出外所有组件的消融实验（HeTVAE - HET - INT - DET - ALO）在 PhysioNet 上表现出最大性能下降（对数似然为 1.2426），确认了所有所提组件的必要性。
• 在 MIMIC-III 上，仅保留概率性路径和增强损失的模型（HeTVAE - PROB - ALO）优于无确定性路径的完整模型，表明概率性路径对组件缺失更具鲁棒性。