[논문 리뷰] Dual Information Enhanced Multi-view Attributed Graph Clustering

Jiaqi Lin, Man-Sheng Chen외 3명|arXiv (Cornell University)|2022. 11. 28.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 다중 시각 속성 그래프 클러스터링을 위한 새로운 방법인 DIAGC를 제안한다. 이 방법은 특정 정보 재구성(SIR) 모듈을 통해 공통 정보와 특정 정보를 분리하고, 상호정보 최대화(MIM)를 통해 고수준 표현 학습을 향상시켜, 실제 벤치마크에서 최신 기술 수준의 성능을 달성한다. 이는 저수준 및 고수준 그래프 구조와 속성을 효과적으로 포착함으로써 가능하다.

ABSTRACT

Multi-view attributed graph clustering is an important approach to partition multi-view data based on the attribute feature and adjacent matrices from different views. Some attempts have been made in utilizing Graph Neural Network (GNN), which have achieved promising clustering performance. Despite this, few of them pay attention to the inherent specific information embedded in multiple views. Meanwhile, they are incapable of recovering the latent high-level representation from the low-level ones, greatly limiting the downstream clustering performance. To fill these gaps, a novel Dual Information enhanced multi-view Attributed Graph Clustering (DIAGC) method is proposed in this paper. Specifically, the proposed method introduces the Specific Information Reconstruction (SIR) module to disentangle the explorations of the consensus and specific information from multiple views, which enables GCN to capture the more essential low-level representations. Besides, the Mutual Information Maximization (MIM) module maximizes the agreement between the latent high-level representation and low-level ones, and enables the high-level representation to satisfy the desired clustering structure with the help of the Self-supervised Clustering (SC) module. Extensive experiments on several real-world benchmarks demonstrate the effectiveness of the proposed DIAGC method compared with the state-of-the-art baselines.

연구 동기 및 목표

• 기존 방법들이 공통 표현 학습 과정에서 시각별로 고유한 구조 정보를 忽시하는 한계를 해결하기 위해.
• 다중 시각 속성 그래프에서 저수준 특징에서 의미 있는 고수준 표현을 복원함으로써 클러스터링 성능을 향상시키기 위해.
• 통합된 딥 클러스터링 프레임워크 내에서 공통 학습과 시각별 정보 분리 학습을 공동으로 최적화하기 위해.
• 저수준 및 고수준 표현 간의 상호정보를 최대화함으로써 표현 품질을 향상시키기 위해.
• 제거 실험과 포괄적인 벤치마크 평가를 통해 각 구성 요소의 효과성을 검증하기 위해.

제안 방법

• 특정 정보 재구성(SIR) 모듈은 저수준 표현에서 시각별로 고유한 인접 행렬을 재구성함으로써 공통 정보와 특정 정보를 분리한다. 이를 통해 GCN이 보다 본질적인 특징을 학습할 수 있다.
• 상호정보 최대화(MIM) 모듈은 저수준 표현과 공유되는 고수준 표현 간의 일치를 최대화하여, 클러스터링에 유리한 구조를 유지한다.
• 자기지도 학습 클러스터링(SC) 모듈은 소프트 레이블과 KL 발산을 사용하여 고수준 표현이 원하는 클러스터 할당과 일치하도록 강제한다.
• 전체 목적 함수는 재구성 손실, 상호정보 최대화, 클러스터링 손실을 조합하여 모든 구성 요소를 함께 최적화한다.
• 모델은 인코더, 클러스터 중심점, 표현 분포를 반복적으로 갱신하는 교차 최적화 전략을 사용하여 엔드 투 엔드로 훈련된다.
• 학습된 표현의 명확성과 분리 가능성에 대한 정성적 검증을 위해 t-SNE 시각화가 사용된다.

실험 결과

연구 질문

• RQ1 공통 정보와 특정 정보를 분리함으로써 다중 시각 속성 그래프에서 클러스터링 성능이 어떻게 향상되는가?
• RQ2 저수준 표현과 고수준 표현 간의 상호정보 최대화가 클러스터링 구조 학습에 얼마나 기여하는가?
• RQ3 다양한 실제 데이터셋에서 하이퍼파rameter 변화에 대해 제안된 DIAGC 방법의 안정성은 어떠한가?
• RQ4 각 구성 요소(SIR, MIM, SC)의 개별 기여도는 전체 클러스터링 성능에 어떻게 영향을 미치는가?
• RQ5 제안된 방법은 다중 시각 속성 그래프 벤치마크에서 최신 기술 수준의 베이스라인보다 더 나은 클러스터링 결과를 달성할 수 있는가?

주요 결과

• 제거 실험 결과, MIM 모듈을 제거할 경우 클러스터링 성능이 심각하게 저하됨을 확인하여, 이 모듈이 고수준 구조를 유지하는 데 핵심적인 역할을 함을 시사한다.
• SIR 모듈을 제거할 경우, 저수준 표현 내의 시각별 고유 정보 간섭으로 인해 클러스터링 성능이 악화됨을 관찰하였다.
• SC 모듈은 ACM, DBLP, IMDB 각각 NMI를 5.58%, 1.03%, 0.97% 향상시켜, 클러스터 할당을 정교화하는 데 효과적임을 확인하였다.
• 모든 벤치마크에서 하이퍼파rameter α에 대해 안정적인 성능을 보이며, 테스트 범위 내에서 유연함을 입증하였다.
• t-SNE 시각화 결과, DEAGC 및 O2MAC와 같은 베이스라인 대비 DIAGC가 더 명확하고 분리 가능한 클러스터 구조를 생성함을 확인하였다.
• 수렴 분석 결과, 손실 함수가 반복 과정 동안 단조롭게 감소함을 확인하여 안정적인 훈련 동역학을 보임을 입증하였다.