[论文解读] Dirichlet Graph Variational Autoencoder

Jia Li, Tomasyu Yu+6 more|arXiv (Cornell University)|Oct 9, 2020

Advanced Graph Neural Networks参考文献 36被引用 11

一句话总结

本文提出Dirichlet图变分自编码器（DGVAE），通过使用狄利克雷先验将图聚类成员关系建模为潜在因子，将VAE的重构项与谱松弛的平衡图割联系起来。该工作还提出了Heatts，一种利用泰勒级数近似热核的GNN，实现了更优的低通滤波，在图生成和聚类任务中优于GCN。

ABSTRACT

Graph Neural Networks (GNNs) and Variational Autoencoders (VAEs) have been widely used in modeling and generating graphs with latent factors. However, there is no clear explanation of what these latent factors are and why they perform well. In this work, we present Dirichlet Graph Variational Autoencoder (DGVAE) with graph cluster memberships as latent factors. Our study connects VAEs based graph generation and balanced graph cut, and provides a new way to understand and improve the internal mechanism of VAEs based graph generation. Specifically, we first interpret the reconstruction term of DGVAE as balanced graph cut in a principled way. Furthermore, motivated by the low pass characteristics in balanced graph cut, we propose a new variant of GNN named Heatts to encode the input graph into cluster memberships. Heatts utilizes the Taylor series for fast computation of heat kernels and has better low pass characteristics than Graph Convolutional Networks (GCN). Through experiments on graph generation and graph clustering, we demonstrate the effectiveness of our proposed framework.

研究动机与目标

• 通过将潜在因子建模为图聚类成员关系，为基于VAE的图生成提供透明的解释。
• 将VAE中的重构项与谱松弛的平衡图割联系起来，为VAE在图重构中表现优异提供理论洞察。
• 通过利用平衡图割中观察到的低通滤波特性，改进基于VAE的图生成中的编码器。
• 开发一种新型GNN变体Heatts，通过泰勒级数高效计算热核，实现优于GCN的低通滤波。
• 在图生成与聚类任务上验证所提框架，证明其性能优于现有基线模型。

提出的方法

• 将图VAE中的潜在变量建模为狄利克雷分布的聚类成员关系，而非高斯变量。
• 将VAE的重构项重新解释为谱松弛的平衡图割目标，将VAE训练与图聚类原理联系起来。
• 提出Heatts，一种利用泰勒级数近似计算热核的GNN，实现高效且准确的低通滤波。
• 在Heatts中采用基于热核的消息传递机制，以平滑节点表示，模仿谱聚类的低通行为。
• 将Heatts作为编码器集成到DGVAE中，将输入图映射为具有聚类感知能力的潜在表示。
• 采用证据下界（ELBO）优化与狄利克雷先验，端到端训练模型以实现图生成与聚类。

实验结果

研究问题

• RQ1 基于VAE的图生成模型中的潜在因子代表何种内在结构？
• RQ2 VAE中的重构项在既有的图聚类目标下能否获得理论解释？
• RQ3 GNN中的低通滤波能否提升图生成与聚类任务中潜在表示的质量？
• RQ4 基于热核的GNN（如具有更好低通特性的模型）是否在图表示学习中优于标准GCN？
• RQ5 采用狄利克雷先验与基于热核编码的VAE框架能否在图生成与聚类任务中达到最先进性能？

主要发现

• DGVAE中的重构项在数学上等价于谱松弛的平衡图割，为VAE在图重构中的表现提供了理论依据。
• 所提出的GNN Heatts通过使用泰勒级数近似的热核，实现了优于GCN的低通滤波，提升了表示学习性能。
• 在PubMed、Citeseer和Wiki数据集上，DGVAE结合Heatts在PubMed上实现了64.9%的准确率、25.8%的NMI和66.5%的F1，优于基于GCN的基线模型。
• 在图聚类任务中，基于Heatts的DGVAE在Citeseer上达到51.3%的准确率，在Wiki上达到38.9%，优于基于GCN的模型及消融变体。
• 消融研究证实，狄利克雷先验与Heatts编码器均至关重要，移除任一均导致性能显著下降。
• 该框架在图生成与聚类任务中表现出优越性能，验证了VAE与平衡图割之间的理论关联。