[논문 리뷰] Graph Clustering with Graph Neural Networks

Anton Tsitsulin, John Palowitch외 2명|arXiv (Cornell University)|2020. 06. 30.

Advanced Graph Neural Networks참고 문헌 67인용 수 50

한 줄 요약

이 논문은 Deep Modularity Networks(DMoN)을 소개한다. 이는 감독되지 않는 GNN 기반 클러스터링 방법으로, 그래프 클러스터를 신뢰성 있게 복원하기 위해 collapse 정규화가 포함된 미분가능한 모듈러리티에서 영감을 받은 목적 함수를 최적화하고, 풀링 방법들 중에서 최첨단 성능을 달성한다.

ABSTRACT

Graph Neural Networks (GNNs) have achieved state-of-the-art results on many graph analysis tasks such as node classification and link prediction. However, important unsupervised problems on graphs, such as graph clustering, have proved more resistant to advances in GNNs. Graph clustering has the same overall goal as node pooling in GNNs - does this mean that GNN pooling methods do a good job at clustering graphs? Surprisingly, the answer is no - current GNN pooling methods often fail to recover the cluster structure in cases where simple baselines, such as k-means applied on learned representations, work well. We investigate further by carefully designing a set of experiments to study different signal-to-noise scenarios both in graph structure and attribute data. To address these methods' poor performance in clustering, we introduce Deep Modularity Networks (DMoN), an unsupervised pooling method inspired by the modularity measure of clustering quality, and show how it tackles recovery of the challenging clustering structure of real-world graphs. Similarly, on real-world data, we show that DMoN produces high quality clusters which correlate strongly with ground truth labels, achieving state-of-the-art results with over 40% improvement over other pooling methods across different metrics.

연구 동기 및 목표

• GNN 내에서 감독되지 않는 그래프 클러스터링의 동기를 부여하고 클러스터링 목표를 딥 러닝과 연결한다.
• 모듈러리티와 스펙트럴 방법에서 영감을 받은 완전하게 미분가능한 클러스터링 목적 함수를 제안한다.
• 트리비얼한 해(solution)들을 방지하기 위해 collapse 정규화와 드롭아웃을 통해 학습의 안정성을 확보한다.
• 합성 그래프와 실제 그래프에서 베이스라인과 비교하여 클러스터링 품질을 개선한다.

제안 방법

• softmax(GCN(Ã, X))를 통해 소프트 클러스터 할당 C를 얻는다.
• LDMoN(C; A) = −(1/2m) Tr(C⊤BC) + (√k/n) X_i C⊤_i F^−1, where B = A − dd⊤/2m 을 최적화한다.
• Tr(C⊤BC)를 희소한 A 항과 차수 정규화로 분해하여 매 업데이트 O(d^2 n) 계산을 달성한다.
• 무익한 해를 피하기 위해 [0, √k]로 정규화된 소프트 클러스터 개수의 Frobenius 노름으로 collapse 정규화를 도입한다.
• 낮은 지역 최적해를 방지하기 위해 softmax 이전의 GNN 표현에 드롭아웃을 적용한다.
• collapse 정규화가 무익한 클러스터링을 피하고 DC-SBM 하에서 점근적 일관성을 보존한다는 이론적 결과를 제공한다.

실험 결과

연구 질문

• RQ1 속성 그래프를 포함하는 GNN 프레임워크에서 엔드투엔드 미분가능한 클러스터링이 달성될 수 있는가?
• RQ2 모듈러리티에서 영감을 받은 목적 함수가 비지도 설정에서 실제 세계 그래프 클러스터링 구조의 회복에 도움이 되는가?
• RQ3 적절한 규제자를 갖는 소프트 클러스터링 방식이 노이즈와 특징-구조 불일치에 강건한가?
• RQ4 GNN 기반 클러스터링 방법이 클러스터링 품질을 저하하지 않으면서 대형 그래프까지 확장될 수 있는가?

주요 결과

• DMoN은 실제 데이터에서 높은 품질의 클러스터를 제공하고 지상-truth 라벨과 강하게 상관관계를 보인다.
• DMoN은 다양한 지표에서 다른 풀링 방법들보다 40% 이상 개선된 최첨단 성능을 달성한다.
• collapse 정규화가 무익한 모든 클러스터링 해를 방지하고 학습 안정성을 향상시킨다.
• 합성 실험에서 DMoN은 그래프 구조 및 속성에서 신호 대 노이즈 비율이 달라지는 상황에서도 베이스라인보다 우수하다.
• 이론적 결과는 collapse 정규화가 DC-SBM 하에서 점근적 일관성에 해를 주지 않음을 보인다.