[论文解读] Correlated Variational Auto-Encoders

Da Tang, Dawen Liang+2 more|arXiv (Cornell University)|May 14, 2019

Gene expression and cancer classification被引用 10

一句话总结

该论文提出了相关变分自编码器（cVAEs），通过使用相关先验将已知的数据点相关结构引入变分自编码器（VAE）的潜在空间。通过在相关图的最大无环子图上对难以处理的ELBO进行可 tractable 的下界平均近似，cVAEs 在链接预测、用户匹配和谱聚类任务中均优于标准VAE和GraphSAGE。

ABSTRACT

Variational Auto-Encoders (VAEs) are capable of learning latent representations for high dimensional data. However, due to the i.i.d. assumption, VAEs only optimize the singleton variational distributions and fail to account for the correlations between data points, which might be crucial for learning latent representations from dataset where a priori we know correlations exist. We propose Correlated Variational Auto-Encoders (CVAEs) that can take the correlation structure into consideration when learning latent representations with VAEs. CVAEs apply a prior based on the correlation structure. To address the intractability introduced by the correlated prior, we develop an approximation by average of a set of tractable lower bounds over all maximal acyclic subgraphs of the undirected correlation graph. Experimental results on matching and link prediction on public benchmark rating datasets and spectral clustering on a synthetic dataset show the effectiveness of the proposed method over baseline algorithms.

研究动机与目标

• 为解决标准VAE因独立同分布（i.i.d.）假设而难以建模数据点之间相关性的局限性。
• 通过潜在变量上的相关先验，将已知的相关结构（如图结构数据）整合到VAE框架中。
• 为由相关先验引起的难以处理的ELBO开发一种可计算的推理方法。
• 通过结构化的潜在表示，提升下游任务（如链接预测、用户匹配和聚类）的性能。

提出的方法

• 提出cVAE_ind和cVAE_corr两种变体：前者使用完全因子化的变分后验，后者引入成对潜在依赖以获得更优的近似。
• 在潜在变量上引入尊重已知无向相关图结构的相关先验。
• 通过在相关图的所有最大无环子图上平均下界，解决由相关先验引起的ELBO不可计算问题。
• 在cVAE_ind中使用因子化变分后验进行摊销推理，在cVAE_corr中使用结构化后验以提升近似质量。
• 采用结合重构损失和与相关先验相关的KL散度项的变分下界。
• 将方法应用于真实世界数据集（如电影和产品评分）及具有树状结构图的合成数据。

实验结果

研究问题

• RQ1 将已知的数据点相关结构引入VAE先验是否能改善潜在表示学习？
• RQ2 在实际中，如何高效近似由相关先验引起的难以处理的ELBO？
• RQ3 在变分后验中建模成对依赖（cVAE_corr）是否优于单体近似（cVAE_ind）？
• RQ4 当存在相关性时，cVAEs是否能在链接预测和用户匹配等任务中超越标准VAE和GraphSAGE？
• RQ5 在复杂且稀疏连接的相关图上，正则化对cVAE_corr性能有何影响？

主要发现

• cVAE_ind和cVAE_corr在链接预测任务中均优于标准VAE和GraphSAGE，其中cVAE_corr在产品评分数据集上达到0.0171 ± 0.0009的归一化CRR。
• 在电影推荐数据集中，cVAE_ind的归一化CRR（0.0160 ± 0.0004）高于VAE（0.0052 ± 0.0007）和GraphSAGE（0.0115 ± 0.0025）。
• 在合成树状结构数据集的谱聚类中，cVAE_corr达到0.98的聚类准确率，显著优于基线VAE。
• 在cVAE_corr中使用较大的正则化值（γ = 1000）可提升在复杂且稀疏相关图上的性能，从而更好地学习潜在相关性。
• 在最大无环子图上对下界取平均，为难以处理的ELBO提供了稳定且有效的近似，支持可扩展训练。
• cVAE_corr始终优于cVAE_ind，证明在变分后验中建模成对潜在依赖具有优势。