[论文解读] Gaussian Copula Variational Autoencoders for Mixed Data

Suwon Suh, Seungjin Choi|arXiv (Cornell University)|Apr 18, 2016

Generative Adversarial Networks and Image Synthesis参考文献 16被引用 8

一句话总结

该论文提出高斯互换变分自编码器（GCVAE），通过在高斯互换框架下使用秩一近似协方差矩阵建模局部依赖结构，以提升混合连续与分类数据的表征学习。通过在 VAE-ROC 中引入基于互换的依赖建模及离散变量的连续扩展，GCVAE 在真实世界数据集上的对数似然显著优于标准 VAE。

ABSTRACT

The variational autoencoder (VAE) is a generative model with continuous latent variables where a pair of probabilistic encoder (bottom-up) and decoder (top-down) is jointly learned by stochastic gradient variational Bayes. We first elaborate Gaussian VAE, approximating the local covariance matrix of the decoder as an outer product of the principal direction at a position determined by a sample drawn from Gaussian distribution. We show that this model, referred to as VAE-ROC, better captures the data manifold, compared to the standard Gaussian VAE where independent multivariate Gaussian was used to model the decoder. Then we extend the VAE-ROC to handle mixed categorical and continuous data. To this end, we employ Gaussian copula to model the local dependency in mixed categorical and continuous data, leading to {\em Gaussian copula variational autoencoder} (GCVAE). As in VAE-ROC, we use the rank-one approximation for the covariance in the Gaussian copula, to capture the local dependency structure in the mixed data. Experiments on various datasets demonstrate the useful behaviour of VAE-ROC and GCVAE, compared to the standard VAE.

研究动机与目标

• 解决标准 VAE 因解码器中独立多变量正态分布假设而导致的复杂数据流形捕捉能力不足的问题。
• 开发一种通过学习作为潜在变量函数的主方向来建模局部流形结构的方法，以改善表征学习。
• 通过结合高斯互换与参数稀疏化的协方差参数化，将 VAE 扩展以处理混合分类与连续数据。
• 通过连续扩展与无限混合建模，实现在潜在变量依赖下的混合数据类型间平滑的依赖建模。

提出的方法

• 提出 VAE-ROC，其中解码器的协方差矩阵被建模为一个主方向向量的秩一外积，该向量通过神经网络作为潜在变量的函数进行学习。
• 通过在混合数据中引入高斯互换，将 VAE-ROC 扩展为 GCVAE，联合建模边缘分布与依赖结构。
• 应用连续扩展以在互换框架内处理离散变量，通过抖动均匀分布的蒙特卡洛采样实现可微分的似然估计。
• 使用互换协方差矩阵的秩一近似以确保参数效率，同时捕捉局部依赖结构。
• 在潜在空间中使用无限混合模型，其中每个分量对应一个由潜在变量索引的局部依赖结构。
• 通过随机梯度变分贝叶斯学习模型，利用重参数化梯度优化变分下界。

实验结果

研究问题

• RQ1 在解码器中建模局部主方向是否能相比标准 VAE 更好地表示数据流形？
• RQ2 基于互换的框架是否能有效在 VAE 框架内建模混合分类与连续数据的依赖关系？
• RQ3 连续扩展是否能在可微分 VAE 设置中实现对离散变量的有效似然估计？
• RQ4 互换协方差矩阵的秩一近似是否能在减少参数数量的同时保持表达能力？
• RQ5 GCVAE 是否在真实世界混合数据基准上实现相比标准 VAE 更高的对数似然？

主要发现

• 在 UCI Auto 数据集上，GCVAE 的测试对数似然为 -189.344 ± 4.599，显著优于标准 VAE 的 -200.289 ± 3.751。
• 在 UCI SPECT 数据集上，GCVAE 的对数似然为 -134.579 ± 2.621，相比 VAE 的 -144.195 ± 3.443，显示出更优的密度估计能力。
• GCVAE 中肯德尔等级相关系数的可视化揭示了合理的依赖模式，例如马力与重量之间存在一致对，而气缸数与车型年份之间存在不一致对，这与历史趋势相符。
• 2D 潜在空间可视化显示，VAE-ROC 比标准 VAE 捕捉到更平滑、更具结构的流形，采样范围为 10×10。
• GCVAE 有效建模了在潜在空间中平滑变化的局部依赖结构，反映出数据流形结构的变化。
• 10 次随机初始化的实验结果确认了 GCVAE 在各次运行中均表现出一致的性能提升，且对数似然估计的方差更低。