[논문 리뷰] Unsupervised Community Detection with Modularity-Based Attention Model

Ivan Lobov, Sergey Ivanov|arXiv (Cornell University)|2019. 05. 20.

Advanced Graph Neural Networks참고 문헌 22인용 수 6

한 줄 요약

이 논문은 그래프의 노드 클러스터링을 최적화하기 위해 주의 메커니즘과 미분 가능 소프트 모듈라리티 손실을 결합한 새로운 비지도 커뮤니티 탐지 모델을 제안한다. 베테 헤시안 임베딩으로 초기화하고 단일 그래프에서 엔드 투 엔드로 훈련함으로써, 경쟁적인 성능을 달성한다—고전적 알고리즘과 지도 학습 기반 GNN을 모두 따라하거나 능가하며, 특히 연관성 있는 및 비연결성 SSBM 제약 조건에서 모듈라리티 및 NMI 지표에서 뛰어난 성능을 보인다.

ABSTRACT

In this paper we take a problem of unsupervised nodes clustering on graphs and show how recent advances in attention models can be applied successfully in a "hard" regime of the problem. We propose an unsupervised algorithm that encodes Bethe Hessian embeddings by optimizing soft modularity loss and argue that our model is competitive to both classical and Graph Neural Network (GNN) models while it can be trained on a single graph.

연구 동기 및 목표

• 라벨 데이터나 다수의 그래프가 필요 없이 완전히 비지도 커뮤니티 탐지 방법을 개발하는 것.
• 단일 그래프에서 엔드 투 엔드 훈련을 위한 주의 메커니즘과 미분 가능한 소프트 모듈라리티 목적 함수를 통합하는 것.
• 연관성 있는 및 비연결성 SSBM 제약 조건에서 고전적 알고리즘과 최신 지도 학습 기반 GNN과의 성능 평가를 수행하는 것.
• 적절한 초기화와 함께 모듈라리티 기반 손실이 비지도 학습에서 강력한 성능을 가능하게 함을 보여주는 것.
• 비지도 설정에서 계산 효율성, 모델 용량, 클러스터링 정확도 간의 상충 관계를 탐색하는 것.

제안 방법

• 모델은 비백트래킹 연산자의 스펙트럼 성질에서 유도된 베테 헤시안 임베딩을 노드 표현의 초기값으로 사용한다.
• 멀티헤드 자기주도 주의를 갖는 인코더 기반 트랜스포머 아키텍처가 이러한 임베딩을 처리하여 각 노드의 소프트 클러스터 할당을 생성한다.
• 손실 함수는 미분 가능한 소프트 모듈라리티 목적 함수이다: $ M = -\text{tr}(UBU^T)/||A||_1 $, 여기서 $ U $ 는 노드-커뮤니티 확률 행렬이고 $ B = A - dd^T/||A||_1 $ 이다.
• 균형 잡힌 커뮤니티 크기를 유도하기 위해 정규화 항 $ R = \sum_c (\sum_i U_{ic} - 1/C)^2 $ 이 추가된다.
• 비연결성 제약 조건(신호대역비 ≤ 1)에서는 손실 함수가 부호를 반전한다: $ L_d = -M + \lambda R $, 이는 모듈라리티의 부호 관례에 맞추기 위함이다.
• 모델은 어드엠 옵timizer를 사용하여 엔드 투 엔드로 훈련되며 조기 정지 기법이 적용되며, 성능 평가는 모듈라리티, NMI, 오버랩 지표를 통해 수행된다.

실험 결과

연구 질문

• RQ1 미분 가능하고 주의 기반 모델이 라벨 데이터 없이도 경쟁적인 커뮤니티 탐지 성능을 달성할 수 있는가?
• RQ2 노드 임베딩 초기화 방식의 선택(예: 베테 헤시안 vs. 무작위)이 클러스터링 성능에 어떤 영향을 미치는가?
• RQ3 모듈라리티 기반 손실 함수가 단일 그래프에서 효과적인 비지도 훈련을 가능하게 하는가?
• RQ4 제안된 모델은 연관성 있는 및 비연결성 SSBM 제약 조건에서 지도 학습 기반 GNN(예: LGNN)과 고전적 알고리즘(예: 루바인, 베테 헤시안)과 비교해 어떻게 성능을 내는가?
• RQ5 라벨의 유도적 편향 없이 다양한 그래프 구조와 커뮤니티 구조에 일반화 가능한가?

주요 결과

• 주의-베테 헤시안(Attention-BH) 모델은 연관성 있는 데이터셋에서 최고의 모듈라리티 점수 0.51을 기록하여, 지도 학습 기반 LGNN(0.50)을 포함한 모든 기준 모델을 능가했다.
• 비연결성 데이터셋에서는 Attention-BH 모델이 -0.18의 모듈라리티를 기록하여 최적의 -0.20에 가장 가까이 가며, NMI(0.11)와 오버랩(0.22)에서 모든 다른 모델을 능가했다.
• 베테 헤시안 초기화를 사용한 모델는 모든 지표에서 랜덤 초기화보다 뚜렷이 우수한 성능을 보였으며, 이는 비지도 학습에서 유도적 편향의 중요성을 입증한다.
• 소프트 모듈라리티 손실 함수는 라벨 없이도 효과적인 훈련을 가능하게 하였으며, 정보-계산 갭 제약 조건(SNR ≤ 1)에서도 경쟁 가능한 성능을 달성했다.
• 다양한 성능 지표에서 고전적 기준 모델(예: 베테 헤시안, 루바인)을 따라하거나 능가하였으며, 추가로 미분 가능성과 엔드 투 엔드 최적화의 이점을 지녔다.
• 제거 분석 결과, 주의 메커니즘과 모듈라리티 기반 손실의 조합이 성능 향상의 핵심임을 확인하였으며, 랜덤 초기화 또는 주의 기반 요소가 없는 모델은 성능이 뚜렷이 열등했다.