[论文解读] Embedding Graph Auto-Encoder with Joint Clustering via Adjacency Sharing.

Xuelong Li, Hongyuan Zhang+1 more|arXiv (Cornell University)|Feb 20, 2020

Advanced Graph Neural Networks参考文献 35被引用 9

一句话总结

该论文提出EGAE-JOCAS，一种基于图卷积网络的聚类模型，通过共享邻接矩阵联合优化图自编码器训练与聚类。通过在统一框架中结合松弛k均值与谱聚类，并采用交替SGD与闭式解法，该方法实现了更快的收敛速度和在属性图聚类基准上的卓越性能。

ABSTRACT

Graph convolution networks have attracted many attentions and several graph auto-encoder based clustering models are developed for attributed graph clustering. However, most existing approaches separate clustering and optimization of graph auto-encoder into two individual steps. In this paper, we propose a graph convolution network based clustering model, namely, Embedding Graph Auto-Encoder with JOint Clustering via Adjacency Sharing ( extit{EGAE-JOCAS}). As for the embedded model, we develop a novel joint clustering method, which combines relaxed k-means and spectral clustering and is applicable for the learned embedding. The proposed joint clustering shares the same adjacency within graph convolution layers. Two parts are optimized simultaneously through performing SGD and taking close-form solutions alternatively to ensure a rapid convergence. Moreover, our model is free to incorporate any mechanisms (e.g., attention) into graph auto-encoder. Extensive experiments are conducted to prove the superiority of EGAE-JOCAS. Sufficient theoretical analyses are provided to support the results.

研究动机与目标

• 解决现有图自编码器模型将聚类与表征学习视为独立步骤的局限性。
• 开发一种统一框架，联合优化图自编码器训练与聚类，以提升表征质量与聚类准确率。
• 通过共享邻接矩阵与交替优化（SGD与闭式解法）实现高效优化。
• 设计灵活架构，允许将注意力模块等辅助机制无缝集成到图自编码器组件中。

提出的方法

• 提出一种新颖的联合聚类方法，将松弛k均值与谱聚类结合于学习到的节点嵌入上。
• 在图卷积层之间共享同一邻接矩阵，以保持表征学习与聚类之间的一致性。
• 通过交替优化同时优化两个组件——自编码器重构与聚类：自编码器使用SGD，聚类使用闭式解法。
• 可将任意注意力机制集成到图自编码器中，而不会破坏联合优化框架。
• 将聚类目标公式化为带有谱聚类正则化的松弛k均值问题，以提升聚类分离度。
• 通过在交替优化过程中利用聚类步骤的闭式解法，确保快速收敛。

实验结果

研究问题

• RQ1 与顺序方法相比，联合优化图自编码器训练与聚类是否能提升属性图聚类性能？
• RQ2 在图卷积层之间共享邻接矩阵如何影响聚类与表征学习？
• RQ3 所提出的结合SGD与闭式解法的交替优化策略是否比标准训练策略具有更快的收敛速度？
• RQ4 该模型在保持联合优化稳定性与性能的前提下，能在多大程度上集成注意力机制？

主要发现

• EGAE-JOCAS在多个属性图聚类基准上达到最先进性能，优于现有基于自编码器的聚类模型。
• 采用共享邻接矩阵的联合优化框架可生成更一致的节点表征，并提升聚类准确率。
• 通过SGD与闭式解法的交替优化策略，确保了训练过程中的快速收敛。
• 该模型的架构可无缝将注意力机制集成到图自编码器中，且不损害性能或优化稳定性。