[论文解读] Hard Sample Aware Network for Contrastive Deep Graph Clustering

Yue Liu, Xihong Yang+8 more|arXiv (Cornell University)|Dec 16, 2022

Complex Network Analysis Techniques被引用 9

一句话总结

该论文提出了一种硬样本感知网络（HSAN），一种对比学习深度图聚类方法，通过联合建模属性与结构相似性并动态加权硬正样本和负样本对，增强硬样本挖掘。通过整合高置信度伪标签和可学习的相似性准则，HSAN 提升了聚类性能，在 CORA 数据集上 NMI 最高比基线方法高出 8.48%。

ABSTRACT

Contrastive deep graph clustering, which aims to divide nodes into disjoint groups via contrastive mechanisms, is a challenging research spot. Among the recent works, hard sample mining-based algorithms have achieved great attention for their promising performance. However, we find that the existing hard sample mining methods have two problems as follows. 1) In the hardness measurement, the important structural information is overlooked for similarity calculation, degrading the representativeness of the selected hard negative samples. 2) Previous works merely focus on the hard negative sample pairs while neglecting the hard positive sample pairs. Nevertheless, samples within the same cluster but with low similarity should also be carefully learned. To solve the problems, we propose a novel contrastive deep graph clustering method dubbed Hard Sample Aware Network (HSAN) by introducing a comprehensive similarity measure criterion and a general dynamic sample weighing strategy. Concretely, in our algorithm, the similarities between samples are calculated by considering both the attribute embeddings and the structure embeddings, better revealing sample relationships and assisting hardness measurement. Moreover, under the guidance of the carefully collected high-confidence clustering information, our proposed weight modulating function will first recognize the positive and negative samples and then dynamically up-weight the hard sample pairs while down-weighting the easy ones. In this way, our method can mine not only the hard negative samples but also the hard positive sample, thus improving the discriminative capability of the samples further. Extensive experiments and analyses demonstrate the superiority and effectiveness of our proposed method.

研究动机与目标

• 为解决现有对比学习深度图聚类方法在硬度度量中忽略结构信息的局限性。
• 克服先前工作中对硬正样本的忽视，从而限制模型判别能力的问题。
• 提出一个统一框架，同时挖掘硬正样本与负样本对以提升聚类性能。
• 设计一种由高置信度聚类伪标签引导的动态样本加权策略，以增强模型对困难样本的关注。
• 通过在基准图数据集上的大量实验，验证所提方法的有效性。

提出的方法

• HSAN 使用独立的编码器分别学习节点属性和图结构，将联合表示映射到共享潜在空间。
• 通过可学习的线性组合，综合属性与结构嵌入，构建全面的相似性度量，以更好地捕捉样本间关系。
• 利用聚类生成的高置信度伪标签，识别潜在的正样本对与负样本对。
• 设计一种动态权重调制函数，对硬样本对（即低相似度正样本对与高相似度负样本对）进行加权提升，同时降低易样本对的权重。
• 使用该函数重新加权对比损失，引导网络在训练过程中聚焦于困难样本。
• 该方法计算效率高，时间与空间开销与标准 infoNCE 损失相当。

实验结果

研究问题

• RQ1 联合建模属性与结构信息如何影响对比图聚类中的硬度度量？
• RQ2 一种同时考虑硬正样本与负样本对的动态样本加权策略，能否提升聚类性能？
• RQ3 高置信度伪标签的引入如何增强硬样本挖掘的可靠性？
• RQ4 所提出的相似性函数与权重调制函数对多样化数据集上的聚类指标有何影响？
• RQ5 所提方法对超参数（如置信度阈值与聚焦因子）的选择是否具有鲁棒性？

主要发现

• HSAN 在 CORA 数据集上相较基线方法实现了最高 8.48% 的 NMI 提升，展现出显著的性能增益。
• 属性-结构相似性函数与权重调制函数的结合取得了最佳性能，优于单独使用任一组件。
• 该方法在训练 350 个周期后收敛稳定，损失与准确率随训练过程逐步提升。
• 动态加权策略虽初始阶段提升损失值，但通过聚焦于困难样本，最终带来更高的聚类准确率。
• HSAN 对超参数变化具有鲁棒性，尤其在消融实验中，聚焦因子 β 表现出极低的敏感性。
• t-SNE 可视化结果表明，HSAN 学习到的节点表示更具判别性且聚类更清晰，优于对比方法。