[논문 리뷰] Deep Attention-guided Graph Clustering with Dual Self-supervision

Zhihao Peng, Hui Liu외 2명|arXiv (Cornell University)|2021. 11. 10.

Advanced Graph Neural Networks참고 문헌 45인용 수 5

한 줄 요약

이 논문은 이질성별 및 스케일별 융합 모듈과 소프트 및 하드 의사 레이블링을 활용한 이중 자기지도 학습을 통해 특징 표현과 클러스터링을 향상시키는 딥 그래프 클러스터링 방법인 DAGC를 제안한다. 기존 방법 대비 평균 10.29% 이상의 ARI 향상을 달성하여 최신 기술 수준을 확립한다.

ABSTRACT

Existing deep embedding clustering works only consider the deepest layer to learn a feature embedding and thus fail to well utilize the available discriminative information from cluster assignments, resulting performance limitation. To this end, we propose a novel method, namely deep attention-guided graph clustering with dual self-supervision (DAGC). Specifically, DAGC first utilizes a heterogeneity-wise fusion module to adaptively integrate the features of an auto-encoder and a graph convolutional network in each layer and then uses a scale-wise fusion module to dynamically concatenate the multi-scale features in different layers. Such modules are capable of learning a discriminative feature embedding via an attention-based mechanism. In addition, we design a distribution-wise fusion module that leverages cluster assignments to acquire clustering results directly. To better explore the discriminative information from the cluster assignments, we develop a dual self-supervision solution consisting of a soft self-supervision strategy with a triplet Kullback-Leibler divergence loss and a hard self-supervision strategy with a pseudo supervision loss. Extensive experiments validate that our method consistently outperforms state-of-the-art methods on six benchmark datasets. Especially, our method improves the ARI by more than 18.14% over the best baseline.

연구 동기 및 목표

• 기본 특징 임bedding과 클러스터 할당 정보를 효과적으로 활용하지 못하는 기존 딥 임베딩 클러스터링 방법의 한계를 해결하기 위해.
• 오토인코더와 GCN 특징 간 고정된 융합 전략의 문제점, 다중 스케일 특징 통합의 부족, 여러 확률 분포 간 모호한 선택 문제를 해결하기 위해.
• 이질적이고 다중 스케일 특징을 적응적으로 융합하면서 이중 자기지도 학습을 통해 고신뢰도 클러스터 할당을 활용하는 통합 프레임워크를 설계하기 위해.
• 특징 융합을 위한 동적 학습 주의 가중치와 클러스터 할당 일致성 향상을 통해 클러스터링 성능을 향상시키기 위해.

제안 방법

• 이질성별 융합(HWF) 모듈은 각 레이어에서 딥 오토인코더(DAE)와 그래프 컬러지언트 네트워크(GCN)의 특징을 학습 가능한 주의 메커니즘을 통해 적응적으로 융합한다.
• 스케일별 융합(SWF) 모듈은 학습된 주의 가중치를 사용해 다양한 네트워크 레이어 간의 다중 스케일 특징을 동적으로 연결한다.
• 분포별 융합(DWF) 모듈은 DAE와 GCN 출력의 확률 분포를 소프트맥스 함수를 통해 융합하여 클러스터 할당 품질을 향상시킨다.
• 소프트 자기지도 학습(SSS) 전략은 예측 클러스터 분포와 목표 분포 간 쿨백-라이블러 발산을 최소화하여 분포를 정렬한다.
• 하드 자기지도 학습(HSS) 전략은 고신뢰도 예측에 대해 하드 원핫 인코딩을 강제로 적용함으로써 클러스터 할당을 정밀하게 보정하는 의사지도 손실을 사용한다.
• 모델은 특징 학습, 분포 정렬, 의사 레이블 보정을 균형 잡는 공동 최적화 목표를 통해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 딥 오토인코더와 그래프 컬러지언트 네트워크에서 유래한 이질적 특징을 효과적으로 융합하여 그래프 클러스터링에서 표현 학습을 향상시킬 수 있는 방법은 무엇인가?
• RQ2 딥 그래프 클러스터링에서 다중 스케일 특징 통합이 클러스터링 성능에 미치는 영향은 무엇인가?
• RQ3 고신뢰도 클러스터 할당을 의사 레이블로 활용하여 자기지도 학습을 통해 클러스터링 성능을 향상시킬 수 있는 방법은 무엇인가?
• RQ4 클러스터링 결과 향상에 있어 소프트 및 하드 자기지도 학습 전략 간 최적의 균형은 무엇인가?
• RQ5 의사 레이블 선택을 위한 임계값 설정에 대해 제안된 방법의 수치적 설정에 대해 얼마나 강건한가?

주요 결과

• 제안된 DAGC 방법은 9개의 벤치마크 데이터셋에서 기존 최고 성능를 기록한 베이스라인 대비 Adjusted Rand Index(ARI)에서 평균 10.29% 이상의 상대적 향상을 달성한다.
• 모델은 하이퍼파ram터 λ₃에 대해 매우 강건하며, 넓고 실용적인 값 범위에서 최적의 성능 유지를 보인다.
• 의사 레이블 선택을 위한 임계값 r = 0.8이 가장 뛰어난 클러스터링 성능을 보이며, 이보다 낮은 값은 노이즈가 많은 레이블을 유도하고, 높은 값은 레이블 전파 효과를 감소시킨다.
• HWF 및 SWF 모듈에서 학습된 주의 가중치는 클러스터링 성능와 강한 상관관계를 보이며, 높은 주의 가중치를 가진 특징은 일관되게 더 우수한 클러스터링 결과를 산출한다.
• t-SNE 시각화 결과는 DAGC가 가장 분리가 잘 되어 있고 잘 군집화된 표현을 생성함을 확인하였으며, 클러스터 간 갭이 뚜렷하고 내부 군집은 빽빽하게 집중되어 있다.
• 절단 분석 결과 각 구성 요소(HWF, SWF, DWF, SSS, HSS)가 최종 성능에 기여하며, 특히 이중 자기지도 학습 전략이 매우 효과적임을 확인하였다.