[논문 리뷰] Overlapping Community Detection with Graph Neural Networks

Oleksandr Shchur, Stephan Günnemann|arXiv (Cornell University)|2019. 09. 26.

Complex Network Analysis Techniques참고 문헌 42인용 수 30

한 줄 요약

이 논문은 중첩 공동체 탐지에 적합한 그래프 신경망(GNN) 기반 모델인 NOCD를 제안한다. 이 모델은 베르누이-포아송 생성 모델을 사용하여 노드 표현과 공동체 소속 관계를 동시에 학습한다. GNN은 특히 강한 노드 특성이 없는 그래프에서 성능 향상에 필수적인 역할을 하며, 정확도와 확장성 면에서 기존의 기준 모델들을 능가한다.

ABSTRACT

Community detection is a fundamental problem in machine learning. While deep learning has shown great promise in many graphrelated tasks, developing neural models for community detection has received surprisingly little attention. The few existing approaches focus on detecting disjoint communities, even though communities in real graphs are well known to be overlapping. We address this shortcoming and propose a graph neural network (GNN) based model for overlapping community detection. Despite its simplicity, our model outperforms the existing baselines by a large margin in the task of community recovery. We establish through an extensive experimental evaluation that the proposed model is effective, scalable and robust to hyperparameter settings. We also perform an ablation study that confirms that GNN is the key ingredient to the power of the proposed model.

연구 동기 및 목표

• 실제 그래프에서 흔한 문제이지만 아직 탐색이 부족한 중첩 공동체 탐지에 대한 딥러닝 모델의 부족을 보완한다.
• 그래프 신경망과 확률적 공동체 모델링을 융합하여 중첩된 노드 소속 관계를 학습할 수 있는 엔드 투 엔드 미분 가능 프레임워크를 개발한다.
• 네 개의 새로운 데이터셋과 기준 구현을 도입하여 중첩 공동체 탐지의 기준을 설정한다.
• 노드 특성이 신뢰할 수 없거나 존재하지 않을 경우, GNN이 성능 향상에 필수적임을 입증한다.

제안 방법

• 노드 소속 행렬을 엔드 투 엔드 최적화를 통해 비음수로 학습하는 미분 가능한 신경망 아키텍처인 NOCD를 제안한다.
• 노드 소속 벡터의 내적을 바탕으로 간선 존재 가능성의 가능도를 정의하기 위해 베르누이-포아송 생성 모델을 사용하여 중첩 공동체를 가능하게 한다.
• 비음수 소속을 보장하기 위해 프로젝션 기반의 경사 하강법과 Adam 최적화기를 사용하여 음수 로그우도 목적함수를 최소화한다.
• 두 가지 변형을 설계한다: NOCD-X(노드 특징을 사용)와 NOCD-G(인접행렬을 입력으로 사용), 이는 다양한 데이터 유형에 대한 유연성을 제공한다.
• 이웃 정보를 전파하고 집계하기 위해 GNN 레이어를 통합하여 공동체 탐지에 필수적인 구조적 패턴을 포착한다.
• GNN의 기여도를 분리하기 위해 추론 실험을 수행하며, MLP 및 자유 변수 기반 기준 모델과 비교한다.

실험 결과

연구 질문

• RQ1 노드 소속이 상호 배타적이지 않은 중첩 공동체 탐지 작업에 대해 그래프 신경망(GNN)을 효과적으로 적용할 수 있는가?
• RQ2 GNN 기반 모델의 성능은 중첩 공동체 탐지에서 비딥러닝 및 비-GNN 딥러닝 기준 모델보다 어떻게 비교되는가?
• RQ3 노드 특성이 노이즈가 많거나 흐릿할 경우, GNN과 노드 특성 간의 상대적 기여도는 어떻게 되는가?
• RQ4 제안된 모델은 대규모 그래프에 대해 얼마나 확장 가능하며, 다양한 초모수 설정에 대해 얼마나 강인한가?
• RQ5 제안된 모델을 사용하여 노드 특성의 공동체 구조에 대한 관련성을 정량화할 수 있는가?

주요 결과

• NOCD 모델은 11개의 벤치마크 데이터셋에서 기존 기준 모델들을 뛰어넘는 성능을 보이며, 정규화된 상호정보량(NMI) 점수를 높게 기록한다.
• 노드 특성이 신뢰할 수 있을 경우(예: 화학 및 공학 데이터셋), MLP 기반 모델은 잘 작동하지만, 특성이 정보가 적은 페이스북 데이터셋에서는 실패한다.
• 인접행렬을 입력으로 사용할 경우, GNN 기반 모델이 항상 MLP 기반 변형보다 뛰어나며, 이는 구조적 인덕티브 바이어스의 중요성을 확인한다.
• 추론 실험 결과, GNN 구성 요소가 성능 향상에 필수적임을 입증하였으며, 이를 제거하면 특히 노드 특성이 약한 그래프에서 정확도가 크게 떨어진다.
• 모델은 확장성이 있으며 초모수 설정에 대해 강인하여 다양한 그래프 유형과 공동체 구조에서 일관된 성능을 기록한다.
• 네 개의 새로운 벤치마크 데이터셋 도입으로 중첩 공동체 탐지 분야의 표준화된 평가와 향후 연구를 가능하게 하였다.