[논문 리뷰] CaEGCN: Cross-Attention Fusion based Enhanced Graph Convolutional Network for Clustering

Guangyu Huo, Yong Zhang외 4명|arXiv (Cornell University)|2021. 01. 18.

Advanced Graph Neural Networks참고 문헌 50인용 수 51

한 줄 요약

이 논문은 GCN의 과도한 스무딩 문제를 완화하기 위해 콘텐츠 인식 자동에코더(CAE)와 그래프 컨volution 자동에코더(GAE)를 새로운 교차 주의 메커니즘을 통해 융합하는 CaEGCN을 제안한다. 데이터 콘텐츠와 그래프 관계를 동시에 재구성하면서 자기지도 일관성을 강제함으로써, CaEGCN은 다양한 데이터셋에서 최신 기준 성능을 달성하며, 기준 모델 대비 최대 28.48% 높은 정확도를 기록한다.

ABSTRACT

With the powerful learning ability of deep convolutional networks, deep clustering methods can extract the most discriminative information from individual data and produce more satisfactory clustering results. However, existing deep clustering methods usually ignore the relationship between the data. Fortunately, the graph convolutional network can handle such relationship, opening up a new research direction for deep clustering. In this paper, we propose a cross-attention based deep clustering framework, named Cross-Attention Fusion based Enhanced Graph Convolutional Network (CaEGCN), which contains four main modules: the cross-attention fusion module which innovatively concatenates the Content Auto-encoder module (CAE) relating to the individual data and Graph Convolutional Auto-encoder module (GAE) relating to the relationship between the data in a layer-by-layer manner, and the self-supervised model that highlights the discriminative information for clustering tasks. While the cross-attention fusion module fuses two kinds of heterogeneous representation, the CAE module supplements the content information for the GAE module, which avoids the over-smoothing problem of GCN. In the GAE module, two novel loss functions are proposed that reconstruct the content and relationship between the data, respectively. Finally, the self-supervised module constrains the distributions of the middle layer representations of CAE and GAE to be consistent. Experimental results on different types of datasets prove the superiority and robustness of the proposed CaEGCN.

연구 동기 및 목표

• 기존 딥 클러스터링 방법이 데이터 간의 구조적 관계를 忽시하는 한계를 해결하기 위해.
• 딥 클러스터링 과정에서 그래프 컨volution 네트워크(GCNs)의 과도한 스무딩 문제를 완화하기 위해.
• 엔드 투 엔드 프레임워크를 통해 이질적인 표현—데이터 콘텐츠와 그래프 구조—를 융합하여 클러스터링 성능을 향상시키기 위해.
• CAE 및 GAE 모듈의 중간 표현을 정렬함으로써 최적의 클러스터링을 유도하는 자기지도 모듈을 개발하기 위해.

제안 방법

• 콘텐츠 자동에코더(CAE)와 그래프 컨볼루션 자동에코더(GAE)의 표현을 계층적으로 결합하는 교차 주의 융합 모듈을 제안하며, 구분력 있는 특징을 강조하기 위해 주의 가중치를 할당한다.
• 노드 콘텐츠 재구성과 그래프 구조 재구성에 각각 다른 손실 함수를 적용한 새로운 GAE 모듈을 도입하여 표현 품질을 향상시킨다.
• CAE 및 GAE 모듈의 중간 레이어 표현 분포를 일관되게 유지함으로써 자기지도 모듈을 활용해 클러스터링 중심의 특징 학습을 촉진한다.
• 두 단계의 훈련 과정을 사용한다: 먼저 CAE 및 GAE 모듈을 별도로 사전 훈련한 후, 전체 CaEGCN 모델을 엔드 투 엔드로 공동 미세조정한다.

실험 결과

연구 질문

• RQ1 교차 주의 융합이 콘텐츠 및 구조적 표현을 효과적으로 융합하여 딥 클러스터링 성능을 향상시키는가?
• RQ2 제안된 융합 메커니즘이 딥 클러스터링 과정에서 GCN의 과도한 스무딩 문제를 어떻게 완화하는가?
• RQ3 독립적인 콘텐츠 및 그래프 재구성 손실 함수는 단일 손실 기반 기준 모델 대비 클러스터링 성능 향상에 얼마나 기여하는가?
• RQ4 CaEGCN은 텍스트, 인간 행동, 이미지 데이터셋을 포함한 다양한 데이터 유형에 대해 얼마나 강건한가?

주요 결과

• ACM 데이터셋에서 CaEGCN은 VGAE 대비 정확도 28.48% 향상되며, 고차원 구조적 관계를 처리하는 데서의 우수성을 입증한다.
• DBLP 데이터셋에서 CaEGCN은 ARGA 대비 19.47%, DAEGC 대비 12.48% 높은 성능을 기록하여 복잡한 그래프 구조 데이터에서의 효과성을 확인한다.
• 제거 실험 결과, 교차 주의 모듈을 제거할 경우 성능 저하가 가장 심각하게 나타나, 이 모듈이 이질적 표현 융합에 핵심적인 역할을 한다는 것을 입증한다.
• 자기지도 모듈은 중간 표현을 정렬함으로써 클러스터링 성능을 크게 향상시키며, CaEGCN w/o self-supervision는 모든 데이터셋에서 성능 저하를 보였다.
• USPS 데이터셋에서 CaEGCN은 제한된 그래프 연결성에도 불구하고 뛰어난 성능을 유지하여 희소하거나 저품질의 초기 그래프에 대해 강건함을 보였다.
• 모든 다섯 개의 벤치마크 데이터셋에서 최신 기준 성능을 달성하였으며, 이전 최고 성능 모델인 SDCN 대비 평균 3.4% 높은 정확도를 기록했다.