[论文解读] Attributed Graph Clustering: A Deep Attentional Embedding Approach

Chun Wang, Shirui Pan+4 more|arXiv (Cornell University)|Jun 15, 2019

Advanced Graph Neural Networks参考文献 18被引用 48

一句话总结

DAEGC 通过联合学习面向目标的图嵌入与聚类，针对带属性的图使用图注意力自编码器和自训练聚类模块，在与最先进基线的对比中实现更优的聚类性能。

ABSTRACT

Graph clustering is a fundamental task which discovers communities or groups in networks. Recent studies have mostly focused on developing deep learning approaches to learn a compact graph embedding, upon which classic clustering methods like k-means or spectral clustering algorithms are applied. These two-step frameworks are difficult to manipulate and usually lead to suboptimal performance, mainly because the graph embedding is not goal-directed, i.e., designed for the specific clustering task. In this paper, we propose a goal-directed deep learning approach, Deep Attentional Embedded Graph Clustering (DAEGC for short). Our method focuses on attributed graphs to sufficiently explore the two sides of information in graphs. By employing an attention network to capture the importance of the neighboring nodes to a target node, our DAEGC algorithm encodes the topological structure and node content in a graph to a compact representation, on which an inner product decoder is trained to reconstruct the graph structure. Furthermore, soft labels from the graph embedding itself are generated to supervise a self-training graph clustering process, which iteratively refines the clustering results. The self-training process is jointly learned and optimized with the graph embedding in a unified framework, to mutually benefit both components. Experimental results compared with state-of-the-art algorithms demonstrate the superiority of our method.

研究动机与目标

• 通过联合利用结构信息与节点内容来推动带属性图的聚类研究。
• 开发一个面向目标、端到端的框架，将嵌入学习与聚类整合在一起。
• 利用图注意力来捕获高阶邻域信息。
• 引入一个自训练聚类模块来监督嵌入学习。
• 在基准数据集上证明相对于最先进基线的优越性。

提出的方法

• 提出一个图注意力自编码器，将图结构和节点属性融合成潜在表示。
• 使用一个两层的图注意力编码器，其注意系数由节点属性和拓扑计算，通过邻近矩阵 M 包含高阶邻居。
• 通过内积解码以重建邻接矩阵并最小化重构损失 L_r。
• 引入一个自训练聚类模块，最小化软分配 Q 与目标分布 P 之间的 KL 散度 L_c，P 来自基于 Student-t 相似度度量。
• 联合优化 L = L_r + γ L_c，以同时学习嵌入与聚类。
• 用学习到的嵌入进行 k-means 初始化聚类，在训练过程中更新聚类中心 μ。

实验结果

研究问题

• RQ1 我们如何设计一个面向目标的嵌入框架，以提升带属性图的图聚类？
• RQ2 基于图注意力的编码器是否能够有效地融合结构与内容，从而产生便于聚类的嵌入？
• RQ3 自训练聚类模块通过对嵌入学习进行监督，是否能够提升聚类质量？
• RQ4 在标准数据集上，相较于最先进的图聚类方法，可以获得怎样的性能提升？

主要发现

• DAEGC 在标准带属性图聚类基准上在 ACC、NMI、F-score 和 ARI 指标均优于基线。
• 通过图注意力整合结构与内容，提升聚类性能，超越仅结构或仅内容的方法。
• 自训练聚类组件提供监督，引导嵌入优化朝着更好的聚类方向。
• On Cora, DAEGC achieves ACC 0.704, NMI 0.528, F-score 0.682, ARI 0.496.
• On Citeseer, DAEGC achieves ACC 0.671, NMI 0.266, F-score 0.659, ARI 0.278.
• On PubMed, DAEGC achieves ACC 0.671, NMI 0.266, F-score 0.659, ARI 0.278.