[论文解读] Missing Data Imputation and Acquisition with Deep Hierarchical Models and Hamiltonian Monte Carlo

Ignacio Peis, Chao Ma+1 more|arXiv (Cornell University)|Feb 9, 2022

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

该论文提出HH-VAEM，一种结合哈密顿蒙特卡洛（HMC）推理的深度分层变分自编码器，用于处理混合类型不完整数据，在数据填补和主动学习方面显著优于高斯变分基线模型。通过将分层潜在结构与HMC采样及自动超参数调优相结合，HH-VAEM实现了更低的后验近似偏差，并在缺失数据填补、监督学习和顺序特征获取任务中表现出更优性能。

ABSTRACT

Variational Autoencoders (VAEs) have recently been highly successful at imputing and acquiring heterogeneous missing data. However, within this specific application domain, existing VAE methods are restricted by using only one layer of latent variables and strictly Gaussian posterior approximations. To address these limitations, we present HH-VAEM, a Hierarchical VAE model for mixed-type incomplete data that uses Hamiltonian Monte Carlo with automatic hyper-parameter tuning for improved approximate inference. Our experiments show that HH-VAEM outperforms existing baselines in the tasks of missing data imputation and supervised learning with missing features. Finally, we also present a sampling-based approach for efficiently computing the information gain when missing features are to be acquired with HH-VAEM. Our experiments show that this sampling-based approach is superior to alternatives based on Gaussian approximations.

研究动机与目标

• 解决现有VAE在处理具有受限单层潜在结构和高斯后验近似假设的混合类型不完整数据时的局限性。
• 通过用哈密顿蒙特卡洛（HMC）采样替代高斯变分推理，降低分层VAE中的近似推理偏差。
• 提出一种基于采样的方法，用于主动信息获取，以比高斯基替代方法更准确地计算信息增益。
• 在缺失数据填补、含缺失特征的监督学习以及顺序主动特征获取任务中，展示性能的提升。

提出的方法

• 提出HH-VAEM，一种具有多层潜在变量的分层VAE，用于建模混合类型数据中的复杂依赖关系。
• 使用带自动超参数调优的哈密顿蒙特卡洛（HMC）采样，从真实后验分布中生成低偏差样本，替代标准的摊销变分推理。
• 实施一种基于采样的策略，以估计互信息用于主动特征获取，通过直方图计算信息增益，无需高斯假设。
• 将解码器分解为针对各类特征类型的边缘VAE和一个依赖关系VAE，以建模特征间的相互关系，从而有效处理混合数据类型。
• 通过HMC后验样本对未观测特征的对数似然进行蒙特卡洛近似，实现数据填补。
• 使用基于HMC后验近似的证据下界（ELBO）目标端到端训练模型，实现对不完整数据的鲁棒推理。

实验结果

研究问题

• RQ1 在混合类型数据集上，具有HMC推理的分层VAE是否能优于标准VAE和高斯变分基线模型，在缺失数据填补任务中表现更优？
• RQ2 在分层VAE中，用HMC采样替代高斯后验近似是否能降低推理偏差并提升预测性能？
• RQ3 在顺序特征获取中，基于采样的信息增益估计方法是否能优于高斯基替代方法？
• RQ4 当特征随机缺失时，HH-VAEM在监督学习任务中的表现与现有基线相比如何？
• RQ5 分层结构在图像修复任务中在多大程度上提升了表征学习能力和填补质量？

主要发现

• 在10个UCI数据集和MNIST数据集上，HH-VAEM在缺失数据填补任务中全面优于所有基线模型（VAE、H-VAE、MIWAE、HMC-VAE和VAEM），在负对数似然指标上表现出一致的改进。
• 在含缺失特征的监督学习任务中，HH-VAEM在所有评估数据集上均实现了比所有基线更低的预测负对数似然，表现出更强的泛化能力。
• 所提出的基于采样的主动信息获取方法在HH-VAEM框架下，相比高斯基替代方法，收敛更快且误差率更低，这一结果在UCI数据集的SAIA曲线中得到验证。
• 在MNIST和CelebA数据集上的定性图像修复结果表明，HH-VAE（基于HMC的变体）生成的重建图像在准确性和连贯性上均优于单层高斯或HMC基模型。
• 分层结构与HMC推理的结合带来了显著的性能提升，尤其在混合类型且含缺失值的复杂数据中，这一结论得到了定量与定性结果的共同支持。
• 与高斯变分推理相比，HH-VAEM中的HMC推理显著降低了后验近似偏差，从而提供了更可靠的不确定性估计，并在下游任务中取得更优表现。