[论文解读] Cluster-guided Contrastive Graph Clustering Network

Xihong Yang, Yue Liu+7 more|arXiv (Cornell University)|Jan 3, 2023

Recommender Systems and Techniques被引用 6

一句话总结

该论文提出CCGC，一种聚类引导的对比图聚类网络，通过利用聚类结果中的高置信度伪标签来提升正样本和负样本的质量。与依赖复杂数据增强的方法不同，CCGC使用无共享的孪生编码器生成两种语义视图，在同一聚类内构建判别性正样本对，并使用聚类中心作为可靠的负样本，从而在六个基准数据集上实现了最先进性能。

ABSTRACT

Benefiting from the intrinsic supervision information exploitation capability, contrastive learning has achieved promising performance in the field of deep graph clustering recently. However, we observe that two drawbacks of the positive and negative sample construction mechanisms limit the performance of existing algorithms from further improvement. 1) The quality of positive samples heavily depends on the carefully designed data augmentations, while inappropriate data augmentations would easily lead to the semantic drift and indiscriminative positive samples. 2) The constructed negative samples are not reliable for ignoring important clustering information. To solve these problems, we propose a Cluster-guided Contrastive deep Graph Clustering network (CCGC) by mining the intrinsic supervision information in the high-confidence clustering results. Specifically, instead of conducting complex node or edge perturbation, we construct two views of the graph by designing special Siamese encoders whose weights are not shared between the sibling sub-networks. Then, guided by the high-confidence clustering information, we carefully select and construct the positive samples from the same high-confidence cluster in two views. Moreover, to construct semantic meaningful negative sample pairs, we regard the centers of different high-confidence clusters as negative samples, thus improving the discriminative capability and reliability of the constructed sample pairs. Lastly, we design an objective function to pull close the samples from the same cluster while pushing away those from other clusters by maximizing and minimizing the cross-view cosine similarity between positive and negative samples. Extensive experimental results on six datasets demonstrate the effectiveness of CCGC compared with the existing state-of-the-art algorithms.

研究动机与目标

• 解决现有对比图聚类方法依赖脆弱数据增强和不可靠负样本的局限性。
• 通过在两个无共享编码器视图中从高置信度聚类构建正样本，提升正样本的判别能力。
• 通过使用不同聚类中心而非随机或任意采样作为负样本，提升负样本的可靠性。
• 消除由任意图数据增强（如边删除或特征掩码）引起的语义漂移。
• 在不依赖复杂增强或预训练模型的情况下，实现深度图聚类的最先进性能。

提出的方法

• 使用无共享孪生编码器生成图的两个不同视图，避免数据增强引起的语义漂移。
• 通过在两个视图中配对来自同一高置信度聚类的节点来构建正样本。
• 将来自不同高置信度聚类的聚类中心视为语义上可靠且具有判别性的负样本。
• 采用对比目标函数，使正样本对在跨视图上的余弦相似度最大化，负样本对则最小化。
• 引入动态阈值策略，基于聚类置信度过滤高置信度伪标签。
• 利用带有拉普拉斯滤波的自蒸馏机制，迭代地优化节点表示。

实验结果

研究问题

• RQ1 高置信度聚类伪标签能否被有效利用以提升对比图聚类中正样本的质量？
• RQ2 用无共享孪生编码器替代数据增强是否能减少语义漂移并改善表示学习？
• RQ3 聚类中心能否作为比随机选择节点更可靠的负样本？
• RQ4 与最先进基线相比，所提方法在聚类准确率和鲁棒性方面表现如何？
• RQ5 该方法对超参数（如置信度阈值τ和平衡系数α）是否具有鲁棒性？

主要发现

• CCGC在六个基准数据集上实现了最先进性能，在NMI、F1和ARI指标上均优于现有方法。
• 在CORA数据集上，CCGC的NMI达到87.89±1.71，F1为55.24±1.69，ARI为25.52±2.09，全面超越所有基线方法。
• 消融实验证实，判别性正样本（DPS）和可靠负样本（RNS）策略均至关重要，任一策略移除后性能显著下降。
• 使用无共享孪生编码器的性能优于标准数据增强方法（如边删除、特征掩码和图扩散）。
• 模型对超参数变化具有鲁棒性，在多个数据集上对τ（置信度阈值）和α（平衡系数）均表现出不敏感性。
• t-SNE可视化结果表明，CCGC学习到的聚类结构更具判别性且分离度更高，优于现有方法。