[논문 리뷰] Supervised Community Detection with Line Graph Neural Networks

Zhengdao Chen, Xiang Li외 1명|arXiv (Cornell University)|2017. 05. 23.

Complex Network Analysis Techniques참고 문헌 43인용 수 120

한 줄 요약

논문은 Line Graph Neural Networks(LGNNs)을 도입하여 GNN에 선 그래프와 비역행 연산자를 도입해 감독 학습 커뮤니티 탐지를 개선하고, 여러 SBM 구간에서 belief propagation과 동등하거나 이를 능가하며 실제 데이터 세트에서도 좋은 성능을 발휘한다.

ABSTRACT

Traditionally, community detection in graphs can be solved using spectral methods or posterior inference under probabilistic graphical models. Focusing on random graph families such as the stochastic block model, recent research has unified both approaches and identified both statistical and computational detection thresholds in terms of the signal-to-noise ratio. By recasting community detection as a node-wise classification problem on graphs, we can also study it from a learning perspective. We present a novel family of Graph Neural Networks (GNNs) for solving community detection problems in a supervised learning setting. We show that, in a data-driven manner and without access to the underlying generative models, they can match or even surpass the performance of the belief propagation algorithm on binary and multi-class stochastic block models, which is believed to reach the computational threshold. In particular, we propose to augment GNNs with the non-backtracking operator defined on the line graph of edge adjacencies. Our models also achieve good performance on real-world datasets. In addition, we perform the first analysis of the optimization landscape of training linear GNNs for community detection problems, demonstrating that under certain simplifications and assumptions, the loss values at local and global minima are not far apart.

연구 동기 및 목표

• 입력 그래프의 분포에 걸친 그래프에서 커뮤니티 탐지를 그래프의 감독된 노드 분류 과제로 제시하는 동기를 제공한다.
• 다중 스케일 그래프 연산자와 선 그래프를 활용하여 고차원 에지 상호 작용을 포착하는 GNN 아키텍처를 개발한다.
• SBM 및 GBM 모델에서 전통적 스펙트럴 방법 및 belief propagation에 비해 데이터 기반의 성능 향상을 입증한다.
• 커뮤니티 탐지에서 선형 GNN의 최적화 상태 공간에 대한 분석을 제공한다.
• SNAP의 실제 네트워크에 대한 적용 가능성을 보여주고 학습된 표현을 논의한다.
• 비역행 연산자를 통한 에지 지향 정보 흐름이 탐지 성능에 미치는 영향을 평가한다.

제안 방법

• 노드 특징에 대해 그래프 연산자 군 {I, D, A, AJ}를 사용하여 다중 스케일 GNN 층을 정의한다.
• 선 그래프와 비역행 연산자로 GNN을 확장하여 LGNN을 만들어 방향성 있는 에지 정보 흐름을 가능하게 한다.
• 발생성 행렬을 통해 노드 상태와 에지 상태 간의 상호 작용으로 LGNN을 구성하고 각 계층에서 노드와 에지 간의 소통을 허용한다.
• 레이블 대칭성을 고려하기 위해 커뮤니티 레이블에 대한 순열 불변 손실을 정의한다.
• 다양한 크기의 그래프에서 역전파로 엔드-투-엔드로 학습하고 안정성을 위해 인스턴스 정규화를 사용한다.
• SBM, GBM 및 SNAP 데이터 세트에서 BP, 스펙트럴 방법 및 GAT에 대해 GNN 및 LGNN 변형(선형 및 대칭 LGNN 포함)을 비교한다.

실험 결과

연구 질문

• RQ1 희소 그래프에서 커뮤니티 탐지를 위한 감독된 GNN이 belief propagation을 근사하거나 이를 능가할 수 있는가?
• RQ2 선 그래프 기반의 비역행 정보를 도입하는 것이 SBM/GBM 구간에서 탐지 성능을 개선하는가, 계산-통계적 간극이 큰 경우를 포함하여?
• RQ3 겹치고 불균형한 커뮤니티를 가진 실제 데이터세트에서 GNN 기반 방법은 전통적 모델과 비교하여 어떻게 성능을 보이는가?
• RQ4 경사 활성화 없는 선형(비활성화) GNN이 경쟁력 있는 성능을 달성하는 데 어떤 역할을 하며 그들의 최적화 상태 공간은 어떤 모습인가?
• RQ5 다양한 크기의 그래프에서 순열 불변 손실이 커뮤니티 탐지 학습에 어떤 영향을 미치는가?

주요 결과

모델	평균 겹침	표준 편차
GNN	0.18	0.04
LGNN	0.21	0.05
LGNN-L	0.18	0.04
LGNN-S	0.18	0.04
GAT	0.16	0.04
BP	0.14	0.02

• GNN과 LGNN은 이진 SBM과 다중 클래스 SBM에서 hard 구간 내에서 belief propagation과 일치하거나 이를 상회한다.
• 선형 LGNN은 BP에 근접한 성능을 달성하며 Bethe Hessian을 통한 스펙트럴 근사와 일치한다.
• LGNN은 비역행 에지 정보를 갖는 경우 여러 SBM 실험에서 대칭 LGNN 및 GAT를 능가한다.
• LGNN은 GBM 및 실제 SNAP 데이터에 대해서도 강한 성능을 유지하여 합성 모델을 넘어 실용적 적용 가능성을 시사한다.
• 특정 가정 하에서 선형 GNN의 학습 상태 공간은 양호하며 그래프 크기가 커질수록 로컬 최솟값이 전역 최솟값에 근접한다.