[논문 리뷰] Community Detection in Networks: The Leader-Follower Algorithm

Devavrat Shah, Tauhid Zaman|arXiv (Cornell University)|2010. 11. 02.

Complex Network Analysis Techniques참고 문헌 11인용 수 51

한 줄 요약

이 논문은 리더-팔로워 알고리즘을 제안하며, 이는 네트워크 중심성의 특성을 활용하여 리더(다중 공동체 간 연결 고리 역할을 하는 노드)와 팔로워(내부 공동체 노드)를 구분함으로써, 사전 지식 없이도 공동체 수를 자동으로 탐지할 수 있는 새로운 커뮤니티 탐지 방법이다. 외부 그래프 컷과 같은 외부 연결성 측정치에 의존하지 않고 내부 공동체 구조에 집중함으로써 스펙트럴 클러스터링보다 우수한 성능을 보이며, 자연스러운 사회적 구조를 가진 네트워크에서 정확한 공동체 복원을 달성한다.

ABSTRACT

Natural networks such as those between humans observed through their interactions or biological networks predicted based on various experimental measurements contain a wealth of information about the unobserved structure of the social or biological system. However, these networks are inherently noisy in the sense that they contain spurious connections making them seemingly dense. Therefore, identifying important, refined structures such as communities or clusters becomes quite challenging. Specifically, we find that the popular, traditional method of spectral clustering does not manage to learn refined community structure. The primary reason for this is that it is based upon external community connectivity properties such as graph-cuts. Motivated to overcome this limitation, we propose a community detection algorithm, called the leader-follower algorithm, based upon identifying the natural internal structure of the expected communities. The algorithm uses the notion of network centrality in a novel manner to differentiate leaders (nodes which connect different communities) from loyal followers (nodes which only have neighbors within a single community). Using this approach, it is able to learn the communities from the network structure. A salient feature of our algorithm is that, unlike the spectral clustering, it does not require knowledge of number of communities in the network; it learns it naturally. We show that our algorithm is quite effective. We prove that it detects all of the communities exactly for any network possessing communities with the natural internal structure expected in social networks. More importantly, we demonstrate its effectiveness in the context of various real networks ranging from social networks such as Facebook to biological networks such as an fMRI based human brain network. 1

연구 동기 및 목표

• 소셜 및 생물학적 네트워크와 같이 본질적으로 노이즈가 많은 네트워크에서 정교한 공동체 구조를 탐지하는 데 도전하는 것.
• 그래프 컷과 같은 외부 연결성 측정치에 의존하는 스펙트럴 클러스터링의 한계를 극복하여 세분화된 공동체 구조를 복원하지 못하는 문제를 해결하는 것.
• 특히 네트워크 중심성으로 리더와 팔로워를 구분함으로써 자연스러운 내부 구조에 기반해 커뮤니티를 식별하는 방법을 개발하는 것.
• 사전 지정된 수를 입력으로 요구하지 않고도 공동체 수를 자동으로 탐지할 수 있도록 하는 것.
• 페이스북 및 fMRI 기반 뇌 네트워크를 포함한 다양한 실제 네트워크에서 알고리즘의 효과성을 검증하는 것.

제안 방법

• 알고리즘은 노드의 연결 패턴에 기반해 리더 또는 팔로워로 노드를 분류하기 위해 네트워크 중심성의 새로운 응용을 사용한다.
• 리더는 여러 공동체를 연결하는 노드로 정의되며, 팔로워는 이웃 노드가 모두 동일한 공동체에 속하는 노드로 정의된다.
• 반복적으로 리더를 식별하고, 팔로워를 이웃 노드의 공동체에 할당함으로써 내부 유대감에 기반한 공동체를 형성한다.
• 실행 중에 공동체 수를 동적으로 학습함으로써 사전 지정이 필요 없도록 한다.
• 그래프 컷이나 모듈러리티 최적화와 같은 외부 지표가 아닌 네트워크의 구조적 특성에 의존한다.
• 네트워크가 사회 시스템에서 기대되는 자연스러운 내부 공동체 구조를 가진 경우, 알고리즘이 공동체를 정확히 복원하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 내부 구조적 특성에 집중함으로써 스펙트럴 클러스터링보다 더 정확하게 커뮤니티를 식별할 수 있는가?
• RQ2 사전 지정된 수를 입력으로 요구하지 않고도 커뮤니티 수를 자동으로 결정할 수 있는가?
• RQ3 중심성 기반 접근이 리더와 팔로워를 얼마나 정확히 구분할 수 있는가?
• RQ4 실제 노이즈가 있는 네트워크, 예를 들어 소셜 네트워크나 뇌 네트워크에서 알고리즘이 높은 정확도를 유지하는가?
• RQ5 자연스럽게 내부 공동체 조직이 구조화된 네트워크에서 알고리즘이 모든 공동체를 정확히 복원할 수 있는가?

주요 결과

• 리더-팔로워 알고리즘은 소셜 네트워크에서 예상되는 자연스러운 내부 구조를 가진 네트워크에서 모든 공동체를 정확히 탐지한다.
• 스펙트럴 클러스터링과 달리, 그래프 컷과 같은 외부 측정치에 의존하지 않아 세분화된 공동체 구조의 복원 성능이 향상된다.
• 실행 중에 공동체 수를 자동으로 학습하므로 사전 지정이 필요 없다.
• 페이스북 및 fMRI 기반 인간 뇌 네트워크를 포함한 실제 네트워크에서 뛰어난 성능을 보이며 실용적 효과성을 확인한다.
• 내부 네트워크 구조에 기반한 방법론은 노이즈와 잘못된 연결에 대해 뛰어난 강건성을 보인다.