[논문 리뷰] Detecting Overlapping Communities in Networks Using Spectral Methods

Yuan Zhang, Elizaveta Levina외 1명|arXiv (Cornell University)|2014. 12. 10.

Complex Network Analysis Techniques참고 문헌 45인용 수 45

한 줄 요약

이 논문은 노드가 여러 공동체에 동시에 속할 수 있도록 스토하스틱 블록 모델을 확장하여 네트워크 내에서 겹치는 공동체를 탐지하기 위한 스펙트럴 방법을 제안한다. K-평균 대신 스펙트럴 도메인에서 K-중위수 군집화를 사용함으로써, 약간의 희소성과 겹침 조건 하에서도 점점이 일致하는 성능을 보이며, 시뮬레이션된 네트워크와 실제 네트워크에서 뛰어난 경험적 성능을 나타낸다.

ABSTRACT

Community detection is a fundamental problem in network analysis which is made more challenging by overlaps between communities which often occur in practice. Here we propose a general, flexible, and interpretable generative model for overlapping communities, which can be thought of as a generalization of the degree-corrected stochastic block model. We develop an efficient spectral algorithm for estimating the community memberships, which deals with the overlaps by employing the K-medians algorithm rather than the usual K-means for clustering in the spectral domain. We show that the algorithm is asymptotically consistent when networks are not too sparse and the overlaps between communities not too large. Numerical experiments on both simulated networks and many real social networks demonstrate that our method performs very well compared to a number of benchmark methods for overlapping community detection.

연구 동기 및 목표

• 노드가 여러 공동체에 속할 수 있는 네트워크에서 겹치는 공동체 탐지의 과제를 다루기.
• 기존의 겹치는 공동체 모델을 일반화하는 유연하고 해석 가능한 생성 모델을 개발하기.
• 스펙트럴 도메인에서 K-중위수 군집화를 사용하여 겹치는 소속 관계를 효율적으로 추정하는 확장 가능한 스펙트럴 알고리즘 설계하기.
• 네트워크가 다소 희소하고 공동체 간 겹침이 제한적인 조건 하에서도 이론적으로 일치하는 성능을 확보하기.
• 합성 및 실제 네트워크 데이터셋에서 기존의 기준 알고리즘과 비교해 뛰어난 성능을 보여주기.

제안 방법

• 각 노드가 다수의 비영 성분을 가질 수 있도록 소속 행렬을 허용하여 스토하스틱 블록 모델을 일반화함으로써 겹치는 공동체를 위한 생성 모델을 제안한다.
• 인접 행렬에 스펙트럴 군집화를 적용하여 그래프 라플라시안 또는 인접 행렬의 고유벡터를 사용해 노드를 저차원 공간으로 투영한다.
• 스펙트럴 도메인에서 표준 K-평균 군집화를 K-중위수 군집화로 대체하여 겹치는 공동체 구조를 더 잘 다룰 수 있도록 한다.
• 스펙트럴 임bedding에서 중심점과의 거리에 기반해 K-중위수 알고리즘을 사용해 각 노드를 다수의 공동체에 할당한다.
• 규칙성 조건 하에서 추정된 소속 행렬과 진짜 소속 행렬 간의 프로베니우스 노름 차이를 유계로 제한함으로써 이론적 일치성을 확보한다.
• 행렬 편향 이론과 고유값 집중 경계를 활용해 스펙트럴 도메인에서의 추정 오차를 통제한다.

실험 결과

연구 질문

• RQ1 희소 네트워크에서 K-중위수 군집화를 사용하는 스펙트럴 방법이 겹치는 공동체를 점점이 일치하게 탐지할 수 있는가?
• RQ2 기존의 기준 알고리즘과 비교해 제안된 방법은 겹치는 공동체 탐지에서 정확도와 내성 면에서 어떻게 성능이 뛰어나게 되는가?
• RQ3 네트워크 크기가 증가함에 따라 스펙트럴 K-중위수 접근법이 일치성을 유지할 수 있는 이론적 조건은 무엇인가?
• RQ4 실제 네트워크에서 알려진 겹치는 공동체 구조를 가진 경우, 이 방법은 어떻게 성능을 발휘하는가?
• RQ5 K-평균 대비 K-중위수를 사용할 경우, 겹치는 공동체 탐지에서 성능 향상은 어느 정도 이루어지는가?

주요 결과

• 제안된 스펙트럴 K-중위수 알고리즘은 네트워크가 너무 희소하지 않고 공동체 간 겹침이 유계일 경우, 겹치는 공동체 탐지에 대해 점점이 일치한다.
• 조정된 랜드 지수 및 기타 군집 평가 지표로 측정했을 때, 이 방법은 시뮬레이션된 네트워크와 실제 사회 네트워크 양쪽에서 기준 알고리즘보다 뚜렷이 뛰어난 성능을 보인다.
• 이론적 분석 결과, 소속 행렬의 추정 오차는 $ O((nar{ u}_n)^{-1/5}) $ 의 속도로 감소함을 보여주며, 여기서 $ n $ 은 노드 수이고 $ ar{ u}_n $ 은 평균 차수이다.
• 스펙트럴 도메인에서 K-중위수 군집화를 사용할 경우, 특히 겹치는 소속이 존재할 경우 K-평균보다 더 정확한 공동체 복구가 가능하다.
• 이 방법은 노드의 차수에 이질성이 있거나 공동체 간 중간 수준의 겹침이 존재할 경우에도 내성적으로 유지된다.
• 경험적 결과는 알고리즘이 잘 스케일업되며, 사회 네트워크 및 협업 그래프와 같은 실제 데이터셋에서 이해하기 쉬운 겹치는 공동체 구조를 효과적으로 생성함을 확인한다.