[论文解读] Deep Attention-guided Graph Clustering with Dual Self-supervision

Zhihao Peng, Hui Liu+2 more|arXiv (Cornell University)|Nov 10, 2021

Advanced Graph Neural Networks参考文献 45被引用 5

一句话总结

该论文提出DAGC，一种深度图聚类方法，通过异质性融合与尺度融合模块，结合软伪标签和硬伪标签的双重自监督机制，增强特征表示与聚类性能。该方法在性能上达到当前最优水平，相较于现有方法，平均提升ARI超过10.29%。

ABSTRACT

Existing deep embedding clustering works only consider the deepest layer to learn a feature embedding and thus fail to well utilize the available discriminative information from cluster assignments, resulting performance limitation. To this end, we propose a novel method, namely deep attention-guided graph clustering with dual self-supervision (DAGC). Specifically, DAGC first utilizes a heterogeneity-wise fusion module to adaptively integrate the features of an auto-encoder and a graph convolutional network in each layer and then uses a scale-wise fusion module to dynamically concatenate the multi-scale features in different layers. Such modules are capable of learning a discriminative feature embedding via an attention-based mechanism. In addition, we design a distribution-wise fusion module that leverages cluster assignments to acquire clustering results directly. To better explore the discriminative information from the cluster assignments, we develop a dual self-supervision solution consisting of a soft self-supervision strategy with a triplet Kullback-Leibler divergence loss and a hard self-supervision strategy with a pseudo supervision loss. Extensive experiments validate that our method consistently outperforms state-of-the-art methods on six benchmark datasets. Especially, our method improves the ARI by more than 18.14% over the best baseline.

研究动机与目标

• 为解决现有深度嵌入聚类方法在利用特征嵌入与聚类分配中的现成信息方面不足的问题。
• 克服自动编码器与GCN特征之间固定融合策略的缺陷，解决多尺度特征整合不足以及多个概率分布间选择模糊的问题。
• 设计一个统一框架，自适应地融合异质性与多尺度特征，同时通过双重自监督机制利用高置信度聚类分配。
• 通过动态学习注意力权重实现特征融合，并提升聚类分配的一致性，从而改善聚类性能。

提出的方法

• 异质性融合（HWF）模块使用可学习的注意力机制，自适应地在每一层融合来自深度自动编码器（DAE）和图卷积网络（GCN）的特征。
• 尺度融合（SWF）模块通过学习到的注意力权重，动态连接网络不同层之间的多尺度特征。
• 分布融合（DWF）模块通过softmax函数将DAE与GCN输出的概率分布进行融合，以提升聚类分配质量。
• 软自监督（SSS）策略通过最小化预测聚类分布与目标分布之间的Kullback-Leibler散度，实现分布对齐。
• 硬自监督（HSS）策略通过伪监督损失，对高置信度预测强制实施硬性one-hot编码，以优化聚类分配。
• 模型采用端到端训练，联合优化目标平衡特征学习、分布对齐与伪标签优化。

实验结果

研究问题

• RQ1 如何有效融合来自深度自动编码器与图卷积网络的异质性特征，以提升图聚类中的表示学习？
• RQ2 多尺度特征整合对深度图聚类性能有何影响？
• RQ3 如何利用高置信度聚类分配作为伪标签，通过自监督机制提升聚类性能？
• RQ4 在提升聚类结果方面，软自监督与硬自监督策略之间应如何实现最优平衡？
• RQ5 所提出方法对超参数设置的鲁棒性如何，特别是伪标签选择阈值的影响？

主要发现

• 所提出的DAGC方法在九个基准数据集上，相较于最佳基线方法，Adjusted Rand Index（ARI）的相对提升超过10.29%。
• 该模型对超参数λ₃表现出强鲁棒性，在广泛且实用的取值范围内均能保持最优性能。
• 伪标签选择的阈值r = 0.8时性能最佳，过低的值会引入噪声标签，过高的值则会降低标签传播的有效性。
• HWF与SWF模块中学习到的注意力权重与聚类性能呈现强相关性：注意力权重越高的特征，其聚类结果越优。
• t-SNE可视化结果表明，DAGC生成的表示最具可分性与良好聚类结构，表现出清晰的类间间隔与紧密的类内聚集。
• 消融实验验证了HWF、SWF、DWF、SSS与HSS各组件对最终性能的显著贡献，其中双重自监督策略尤为有效。