[论文解读] VAEM: a Deep Generative Model for Heterogeneous Mixed Type Data

Chao Ma, Sebastian Tschiatschek+3 more|arXiv (Cornell University)|Jun 21, 2020

Generative Adversarial Networks and Image Synthesis参考文献 22被引用 13

一句话总结

VAEM 是一种两阶段深度生成模型，通过先学习各维度特定的变分自编码器（VAEs）以归一化边缘分布，再建模这些潜在表示之间的依赖关系，从而提升变分自编码器（VAEs）在异质混合类型数据（如分类、有序和连续特征）上的性能。与标准 VAEs 及基线模型相比，VAEM 在数据生成、缺失数据填补和顺序特征选择方面均表现出更优性能。

ABSTRACT

Deep generative models often perform poorly in real-world applications due to the heterogeneity of natural data sets. Heterogeneity arises from data containing different types of features (categorical, ordinal, continuous, etc.) and features of the same type having different marginal distributions. We propose an extension of variational autoencoders (VAEs) called VAEM to handle such heterogeneous data. VAEM is a deep generative model that is trained in a two stage manner such that the first stage provides a more uniform representation of the data to the second stage, thereby sidestepping the problems caused by heterogeneous data. We provide extensions of VAEM to handle partially observed data, and demonstrate its performance in data generation, missing data prediction and sequential feature selection tasks. Our results show that VAEM broadens the range of real-world applications where deep generative models can be successfully deployed.

研究动机与目标

• 解决标准 VAE 在包含混合特征类型（分类、有序、连续）的真实世界数据集上表现不佳的问题。
• 克服因多类型数据中不同似然贡献差异导致的优化挑战。
• 通过在异质特征间学习更均匀的潜在表示，提升数据生成与缺失数据填补性能。
• 通过在部分观测设置下的条件生成，实现有效的顺序主动信息获取。
• 扩展 VAEM 以处理缺失数据并支持条件生成，提升其在真实世界决策场景中的实际部署能力。

提出的方法

• 提出两阶段架构：首先，为每个数据维度独立训练一维 VAE（边缘 VAE），以建模边缘分布。
• 将边缘 VAE 的潜在编码作为输入，输入至第二阶段的 VAE，以捕捉跨维度的依赖关系。
• 应用近似变分推断，并为每类特征设置独立的似然函数（例如，连续特征使用高斯分布，二值特征使用伯努利分布，有序特征使用多项分布）。
• 通过在不同特征类型间平衡加权，优化变分下界（ELBO），以防止高方差似然主导优化过程。
• 通过使用编码器从不完整观测中推断潜在编码并重建缺失值，将 VAEM 扩展以处理缺失数据。
• 推导用于顺序特征选择的算法，通过迭代选择在条件生成中信息增益最大的特征。

实验结果

研究问题

• RQ1 与标准 VAE 相比，两阶段 VAE 架构是否能更好地建模异质混合类型数据？
• RQ2 VAEM 在生成跨混合特征类型的真实样本方面表现如何，特别是在边缘分布差异显著时？
• RQ3 与基线 VAE 及其变体相比，VAEM 在缺失数据填补准确率方面能提升多少？
• RQ4 VAEM 是否能有效用于部分观测数据设置下的顺序主动信息获取？
• RQ5 与端到端 VAE 相比，两阶段设计是否能带来更优的后验近似和更低的 KL 散度？

主要发现

• VAEM 在数据生成方面优于标准 VAE 及基线模型，在五个真实世界数据集上均实现了最低的负对数似然（NLL）。
• 在 Bank 数据集上，VAEM 的填补误差为 0.111 ± 0.00，显著低于 VAE（0.116）和 VAE-balanced（0.117），平均排名为 1.00。
• 在 Avocado 数据集上，VAEM 维持了最低的填补误差（0.145 ± 0.00），优于 VAE-extended（0.145）和 VAE-HI（0.146）。
• VAEM 中的边缘 VAE 展现出几乎相同的 ELBO 与对数似然值（例如 -1.30 与 -1.30），表明后验近似质量高，KL 散度极低。
• VAEM 生成的样本准确捕捉了边缘分布与成对依赖关系，成对散点图显示了各类变量间正确的密度模式。
• 在填补性能方面，VAEM 在所有数据集上的平均排名均为 1.00，表明其在缺失数据恢复方面始终优于所有基线模型。