[论文解读] CAGNN: Cluster-Aware Graph Neural Networks for Unsupervised Graph Representation Learning

Yanqiao Zhu, Yichen Xu+3 more|arXiv (Cornell University)|Sep 3, 2020

Advanced Graph Neural Networks参考文献 40被引用 24

一句话总结

CAGNN 是一种自监督图神经网络，通过引入聚类感知机制提升无监督图表示学习：它在节点嵌入上进行迭代聚类，并将聚类分配结果作为伪标签用于训练，同时通过增强类内边和抑制类间边来优化图拓扑结构。该方法在节点聚类基准测试中相比最先进方法实现了超过 7% 的准确率提升。

ABSTRACT

Unsupervised graph representation learning aims to learn low-dimensional node embeddings without supervision while preserving graph topological structures and node attributive features. Previous graph neural networks (GNN) require a large number of labeled nodes, which may not be accessible in real-world graph data. In this paper, we present a novel cluster-aware graph neural network (CAGNN) model for unsupervised graph representation learning using self-supervised techniques. In CAGNN, we perform clustering on the node embeddings and update the model parameters by predicting the cluster assignments. Moreover, we observe that graphs often contain inter-class edges, which mislead the GNN model to aggregate noisy information from neighborhood nodes. We further refine the graph topology by strengthening intra-class edges and reducing node connections between different classes based on cluster labels, which better preserves cluster structures in the embedding space. We conduct comprehensive experiments on two benchmark tasks using real-world datasets. The results demonstrate the superior performance of the proposed model over existing baseline methods. Notably, our model gains over 7% improvements in terms of accuracy on node clustering over state-of-the-arts.

研究动机与目标

• 为解决现有 GNN 需要标注节点的局限性，实现高效的无监督图表示学习。
• 在缺乏人工标注标签的情况下，利用图中固有的聚类结构作为监督信号。
• 缓解图神经网络消息传递过程中，噪声类间边对节点嵌入质量的负面影响。
• 通过基于聚类分配结果优化图拓扑结构，提升学习到的节点嵌入的判别能力。
• 开发一种结合聚类与拓扑自适应的自监督训练范式，以实现更优的表示学习。

提出的方法

• CAGNN 使用 k-means 对节点嵌入进行迭代聚类，生成用于自监督训练的伪标签。
• 通过交叉熵损失训练模型以预测聚类分配，实现无需真实标签的端到端优化。
• 通过聚类标签，利用一个拓扑结构优化模块来增强同类节点之间的边，削弱不同类节点之间的边。
• 在后续 GNN 层中使用优化后的图结构，以减少消息传递过程中来自类间邻居的噪声影响。
• 在优化步骤中，采用基于 Greenkhorn 的算法求解矩阵缩放问题，以计算归一化的注意力权重。
• 通过 GNN 编码器更新节点嵌入，聚合来自优化后邻域的特征，从而保留聚类结构。

实验结果

研究问题

• RQ1 图中的聚类结构能否被有效利用为无监督 GNN 训练的自监督信号？
• RQ2 通过增强类内边和抑制类间边来优化图拓扑结构，对节点表示质量有何影响？
• RQ3 与最先进无监督方法相比，所提出的聚类感知训练方案在下游节点聚类任务中的性能提升程度如何？
• RQ4 基于聚类的伪标签与拓扑优化相结合，是否能生成更具判别性与结构一致性的节点嵌入？
• RQ5 该方法在具有不同聚类密度与噪声水平的真实世界图数据集中是否具备泛化能力？

主要发现

• 在基准数据集上，CAGNN 相较于最先进无监督 GNN 方法，在节点聚类准确率上实现了超过 7% 的性能提升。
• 使用 t-SNE 的可视化结果显示，CAGNN 的嵌入在二维投影中形成清晰分离、结构分明的聚类，而原始特征则缺乏结构。
• 优化后的图拓扑结构显著提升了模型区分不同类别的能力，有效降低了噪声类间边的影响。
• 采用聚类伪标签的自监督训练方案，使模型能够在无需任何标注节点的情况下实现有效的参数优化。
• 该方法在多个真实世界数据集上表现出鲁棒性与有效性，包括 Cora 在内，均实现了卓越的聚类性能。
• 消融实验验证了聚类感知训练与拓扑结构优化两个组件对模型性能提升均至关重要。