[论文解读] CaEGCN: Cross-Attention Fusion based Enhanced Graph Convolutional Network for Clustering

Guangyu Huo, Yong Zhang+4 more|arXiv (Cornell University)|Jan 18, 2021

Advanced Graph Neural Networks参考文献 50被引用 51

一句话总结

该论文提出CaEGCN，一种基于交叉注意力融合的深度聚类框架，通过新颖的交叉注意力机制将内容感知自编码器（CAE）与图卷积自编码器（GAE）相结合，以缓解GCN的过平滑问题。通过联合重建数据内容与图结构关系，并强制实施自监督一致性，CaEGCN在多种数据集上实现了最先进（SOTA）的聚类性能，在ACM数据集上的准确率相比基线最高提升28.48%。

ABSTRACT

With the powerful learning ability of deep convolutional networks, deep clustering methods can extract the most discriminative information from individual data and produce more satisfactory clustering results. However, existing deep clustering methods usually ignore the relationship between the data. Fortunately, the graph convolutional network can handle such relationship, opening up a new research direction for deep clustering. In this paper, we propose a cross-attention based deep clustering framework, named Cross-Attention Fusion based Enhanced Graph Convolutional Network (CaEGCN), which contains four main modules: the cross-attention fusion module which innovatively concatenates the Content Auto-encoder module (CAE) relating to the individual data and Graph Convolutional Auto-encoder module (GAE) relating to the relationship between the data in a layer-by-layer manner, and the self-supervised model that highlights the discriminative information for clustering tasks. While the cross-attention fusion module fuses two kinds of heterogeneous representation, the CAE module supplements the content information for the GAE module, which avoids the over-smoothing problem of GCN. In the GAE module, two novel loss functions are proposed that reconstruct the content and relationship between the data, respectively. Finally, the self-supervised module constrains the distributions of the middle layer representations of CAE and GAE to be consistent. Experimental results on different types of datasets prove the superiority and robustness of the proposed CaEGCN.

研究动机与目标

• 为解决现有深度聚类方法忽略数据间结构关系的局限性。
• 缓解图卷积网络（GCNs）在深度聚类过程中出现的过平滑问题。
• 通过端到端框架融合异构表示——数据内容与图结构——以提升聚类性能。
• 开发一个自监督模块，通过对齐CAE与GAE模块的中间表示，引导模型向最优聚类方向学习。

提出的方法

• 提出一种交叉注意力融合模块，逐层结合内容自编码器（CAE）与图卷积自编码器（GAE）的表示，并通过注意力权重突出判别性特征。
• 引入一种新型GAE模块，包含两个独立的损失函数：一个用于重建节点内容，另一个用于重建图结构，从而提升表示质量。
• 采用自监督模块，约束CAE与GAE中间层表示的分布保持一致，促进面向聚类的特征学习。
• 采用两阶段训练流程：首先分别预训练CAE与GAE模块，然后端到端联合微调整个CaEGCN模型。

实验结果

研究问题

• RQ1 交叉注意力融合能否有效结合内容与结构表示，从而提升深度聚类性能？
• RQ2 所提出的融合机制在深度聚类过程中如何缓解GCN的过平滑问题？
• RQ3 与单损失基线相比，独立的内容与图结构重建损失在多大程度上提升了聚类性能？
• RQ4 CaEGCN在多种数据类型（包括文本、人类行为和图像数据集）上的表现有多强的鲁棒性？

主要发现

• 在ACM数据集上，CaEGCN相比VGAE的准确率提升达28.48%，证明其在处理高阶结构关系方面的优越性。
• 在DBLP数据集上，CaEGCN相比ARGA提升19.47%，相比DAEGC提升12.48%，证实其在复杂图结构数据中的有效性。
• 消融实验表明，移除交叉注意力模块导致性能下降最显著，证明其在融合异构表示中的关键作用。
• 自监督模块显著提升了聚类性能，通过对齐中间表示实现；在所有数据集上，无自监督的CaEGCN表现均有所下降。
• 在USPS数据集上，尽管初始图连接稀疏，CaEGCN仍保持优异性能，表明其对稀疏或低质量初始图具有鲁棒性。
• 该模型在全部五个基准数据集上均达到最先进结果，相比此前SOTA方法SDCN，准确率平均提升3.4%。