[论文解读] Improved Dual Correlation Reduction Network

Yue Liu, Sihang Zhou+3 more|arXiv (Cornell University)|Feb 25, 2022

Advanced Graph Neural Networks被引用 8

一句话总结

本文提出了一种新型的深度图聚类方法——改进型双相关性缩减网络（IDCRN），通过减少跨视图特征与样本的相关性冗余，增强特征与样本的判别能力。通过分别将跨视图相关性矩阵近似为单位矩阵和聚类优化后的邻接矩阵，并引入传播正则化，IDCRN有效缓解了表征坍塌问题，在保持SOTA性能的同时，相比对比基线方法平均节省54%的GPU显存。

ABSTRACT

Deep graph clustering, which aims to reveal the underlying graph structure and divide the nodes into different clusters without human annotations, is a fundamental yet challenging task. However, we observed that the existing methods suffer from the representation collapse problem and easily tend to encode samples with different classes into the same latent embedding. Consequently, the discriminative capability of nodes is limited, resulting in sub-optimal clustering performance. To address this problem, we propose a novel deep graph clustering algorithm termed Improved Dual Correlation Reduction Network (IDCRN) through improving the discriminative capability of samples. Specifically, by approximating the cross-view feature correlation matrix to an identity matrix, we reduce the redundancy between different dimensions of features, thus improving the discriminative capability of the latent space explicitly. Meanwhile, the cross-view sample correlation matrix is forced to approximate the designed clustering-refined adjacency matrix to guide the learned latent representation to recover the affinity matrix even across views, thus enhancing the discriminative capability of features implicitly. Moreover, we avoid the collapsed representation caused by the over-smoothing issue in Graph Convolutional Networks (GCNs) through an introduced propagation regularization term, enabling IDCRN to capture the long-range information with the shallow network structure. Extensive experimental results on six benchmarks have demonstrated the effectiveness and the efficiency of IDCRN compared to the existing state-of-the-art deep graph clustering algorithms.

研究动机与目标

• 为解决深度图聚类中的表征坍塌问题，即不同类别的节点被编码为相同的潜在嵌入。
• 通过显式减少特征冗余并隐式引导跨视图亲和矩阵恢复，提升节点嵌入的判别能力。
• 在不依赖深层架构的前提下，通过引入传播正则化项，缓解图卷积网络中的过平滑问题。
• 通过消除对比学习方法中常见的负样本挖掘，显著降低GPU显存消耗。
• 在六个基准数据集上实现SOTA聚类性能，同时提升效率与表征清晰度。

提出的方法

• 该方法采用孪生GCN编码器，从两个增强的图视图中学习节点表征。
• 强制跨视图特征相关性矩阵近似为单位矩阵，以减少特征间冗余，增强显式判别能力。
• 约束跨视图样本相关性矩阵近似为聚类优化后的邻接矩阵，隐式引导模型恢复真实亲和结构。
• 引入传播正则化项，防止浅层GCN架构中的过平滑问题，保留长距离依赖关系。
• 避免负样本生成，与对比学习基线相比显著降低GPU显存使用。
• 通过结合相关性最小化与聚类感知正则化的联合损失，实现端到端训练。

实验结果

研究问题

• RQ1 减少跨视图特征相关性是否能提升深度图聚类中学习到的节点表征的判别能力？
• RQ2 通过引导模型恢复跨视图的真实亲和矩阵，是否能在无显式监督的情况下提升聚类性能？
• RQ3 用基于相关性的正则化替代负样本采样，是否能在保持或提升性能的同时减少GPU显存消耗？
• RQ4 浅层GCN架构是否可通过引入传播正则化项避免过平滑，并仍实现有竞争力的性能？
• RQ5 所提出的双重相关性缩减机制在真实世界图基准上，多大程度上优于现有方法缓解表征坍塌问题？

主要发现

• IDCRN在六个基准数据集（包括DBLP、CITE和ACM）上实现了SOTA聚类性能，优于现有SOTA方法。
• 由于消除了负样本挖掘，IDCRN在MVGRL基础上平均节省约54%的GPU显存。
• t-SNE可视化显示，与GAE、MVGRL和SDCN相比，IDCRN在潜在空间中学习到的聚类结构更清晰、更具可分性。
• IDCRN学习到的节点嵌入在训练过程中随训练轮次逐渐变得更加结构化且分离良好，表明优化过程稳定且高效。
• IDCRN中的跨视图样本相关性矩阵与优化后的邻接矩阵高度近似，证实了跨视图亲和结构的有效恢复。
• 传播正则化项成功缓解了过平滑问题，使浅层网络也能有效聚合长距离信息。