[论文解读] Keep It Simple: Graph Autoencoders Without Graph Convolutional Networks

Guillaume Salha-Galvan, Romain Hennequin+1 more|arXiv (Cornell University)|Oct 2, 2019

Advanced Graph Neural Networks参考文献 35被引用 22

一句话总结

本文提出一种基于邻接矩阵的简单线性编码器，用于替代图自编码器（AE）和变分自编码器（VAE）中的图卷积网络（GCNs）。尽管方法简单，但在Cora、Citeseer和PubMed等多样化的真实世界图上，该方法在链接预测和节点聚类任务中仍表现出具有竞争力的性能，挑战了在标准基准中使用复杂GCN编码器的必要性。

ABSTRACT

Graph autoencoders (AE) and variational autoencoders (VAE) recently emerged as powerful node embedding methods, with promising performances on challenging tasks such as link prediction and node clustering. Graph AE, VAE and most of their extensions rely on graph convolutional networks (GCN) to learn vector space representations of nodes. In this paper, we propose to replace the GCN encoder by a simple linear model w.r.t. the adjacency matrix of the graph. For the two aforementioned tasks, we empirically show that this approach consistently reaches competitive performances w.r.t. GCN-based models for numerous real-world graphs, including the widely used Cora, Citeseer and Pubmed citation networks that became the de facto benchmark datasets for evaluating graph AE and VAE. This result questions the relevance of repeatedly using these three datasets to compare complex graph AE and VAE models. It also emphasizes the effectiveness of simple node encoding schemes for many real-world applications.

研究动机与目标

• 探究图自编码器（AE）和变分自编码器（VAE）是否能在不使用图卷积网络（GCNs）的情况下实现具有竞争力的性能。
• 评估基于邻接矩阵的最小化线性编码器相较于基于GCN的模型的有效性。
• 挑战图表示学习中复杂GCN编码器对最先进性能至关重要的假设。
• 评估广泛使用的引用网络（如Cora、Citeseer、PubMed）是否足够复杂，能够公平评估先进自编码器模型。

提出的方法

• 将图AE和VAE中的GCN编码器替换为对邻接矩阵A应用单一线性变换，由单个权重矩阵W参数化。
• 使用内积解码器：Â = σ(ZZᵀ)，其中Z = WᵀA，σ为Sigmoid函数。
• 通过梯度下降训练模型，以最小化Â与真实邻接矩阵A之间的加权交叉熵重建损失。
• 对于VAE，应用重参数化技巧，并在潜在向量上使用高斯先验，其均值和对数方差由线性编码器预测。
• 在AE和VAE框架中均应用相同的线性编码器，保持相同的解码机制。
• 在多样化的真实世界图上评估链接预测（AUC、AP）和节点聚类（NMI、调整兰德指数）的性能。

实验结果

研究问题

• RQ1 基于邻接矩阵的简单线性编码器是否在图自编码器中优于基于GCN的编码器？
• RQ2 广泛使用的引用网络（Cora、Citeseer、PubMed）是否过于简单，无法有意义地评估复杂图自编码器模型？
• RQ3 在何种图属性（如密度、规模、结构）下，GCN编码器相较于线性编码器能提供可测量的优势？
• RQ4 最小化线性模型是否能在不使用消息传递或多层聚合的情况下，实现链接预测和节点聚类的具有竞争力的性能？

主要发现

• 线性AE和VAE模型在所有测试数据集（包括Cora、Citeseer和PubMed）上的链接预测任务中均实现了具有竞争力的AUC和AP得分，通常与基于GCN的模型相当或更优。
• 在DBLP、Blogs、Proteins和Google网页图上，线性模型在Arxiv-HepTh上的AUC得分达到98.34%（线性AE）和98.35%（线性VAE），与基于GCN的模型相当。
• 在节点聚类任务中，线性AE和VAE在Cora-larger上的NMI得分最高达0.946，在DBLP上达0.952，与或超过基于GCN的模型。
• 在Proteins和Google等密集图上，线性模型与基于GCN的模型之间的性能差距极小，表明在这些设置中GCN的优势有限。
• 在稀疏引用网络（Cora、Citeseer、PubMed）中，线性模型的表现始终与或优于基于GCN的模型，表明在这些情况下高阶交互可能并非必需。
• 作者得出结论：当前基准数据集可能过于简单，不足以证明图AE和VAE模型中GCN编码器复杂性的合理性。