[논문 리뷰] Hierarchical Community Detection by Recursive Partitioning

Tianxi Li, Lihua Lei외 5명|arXiv (Cornell University)|2018. 10. 02.

Complex Network Analysis Techniques참고 문헌 78인용 수 10

한 줄 요약

이 논문은 단일 커뮤니티에서 시작하여 정규화된 컷 기준을 사용한 반복적인 스펙트럴 클러스터링 분할을 통해 계층적 커뮤니티 탐지 알고리즘을 제안한다. 이 방법은 모델에 종속되지 않으며 계산적으로 효율적이며, 바이너리 트리 스토케스틱 블록 모델 하에서 참 커뮤니티 계층을 일관되게 복구한다. 이는 K를 사전에 지정할 필요가 없고, 특정 영역에서 표준 K-웨이 스펙트럴 클러스터링보다 성능이 뛰어나다.

ABSTRACT

The problem of community detection in networks is usually formulated as finding a single partition of the network into some "correct" number of communities. We argue that it is more interpretable and in some regimes more accurate to construct a hierarchical tree of communities instead. This can be done with a simple top-down recursive partitioning algorithm, starting with a single community and separating the nodes into two communities by spectral clustering repeatedly, until a stopping rule suggests there are no further communities. This class of algorithms is model-free, computationally efficient, and requires no tuning other than selecting a stopping rule. We show that there are regimes where this approach outperforms K-way spectral clustering, and propose a natural framework for analyzing the algorithm's theoretical performance, the binary tree stochastic block model. Under this model, we prove that the algorithm correctly recovers the entire community tree under relatively mild assumptions. We apply the algorithm to a gene network based on gene co-occurrence in 1580 research papers on anemia, and identify six clusters of genes in a meaningful hierarchy. We also illustrate the algorithm on a dataset of statistics papers.

연구 동기 및 목표

• 기존 K-웨이 커뮤니티 탐지 방법의 한계를 해결하기 위해, 사전에 K를 지정해야 하며 큰 K일 경우 불안정해지는 문제를 해결하고자 한다.
• 평탄한 분할 대신 계층적 트리 구조의 커뮤니티를 구성하여 더 해석 가능하고 정확한 대안을 개발하고자 한다.
• 재귀적 분할 알고리즘을 분석하기 위한 이론적 프레임워크를 제공하고자 한다.
• 실제 네트워크, 특히 유전자 공존 네트워크와 통계 인용 네트워크에서 이 방법의 효과성을 입증하고자 한다.
• 다양한 척도에서 커뮤니티가 존재할 경우 계층적 구조가 특히 해석 가능성과 성능을 향상시킨다는 것을 보여주고자 한다.

제안 방법

• 알고리즘은 모든 노드를 하나의 커뮤니티로 시작하여, 반복적으로 스펙트럴 클러스터링을 적용해 커뮤니티를 두 개로 분할한다.
• 각 단계에서 분할은 네트워크의 인cidience 행렬의 주요 고유벡터를 사용하여 결정되며, 정규화된 컷 기준을 따른다.
• 더 이상 의미 있는 분할이 존재하지 않는다는 정지 기준(고유값 갭 또는 모듈라리티 기반)이 충족될 때까지 과정을 반복한다.
• 이 방법은 모델에 종속되지 않으며, 정지 기준을 선택하는 것 외에는 조정이 필요 없다.
• 이론적 분석은 커뮤니티 구조가 이진 트리 구조를 따르며, 상호 커뮤니티 간 연결이 확률적으로 정의된 바이너리 트리 스토케스틱 블록 모델 하에서 수행된다.
• 안정성과 해석 가능성 향상을 위해 실세계 데이터셋에 적용할 때 핵심 네트워크 추출 단계를 통합한다.

실험 결과

연구 질문

• RQ1 스펙트럴 클러스터링을 통한 재귀적 분할은 기존 K-웨이 클러스터링보다 네트워크의 참 계층적 커뮤니티 구조를 더 정확하게 복구할 수 있는가?
• RQ2 계층적 커뮤니티 탐지가 복구 정확도 측면에서 평탄한 K-웨이 클러스터링을 초월하는 조건은 무엇인가?
• RQ3 K의 사전 지식 없이도 올바른 계층 수준에서 알고리즘이 멈추도록 정지 기준을 어떻게 설계할 수 있는가?
• RQ4 적절히 정의된 계층적 네트워크에 대한 확률 모델 하에서 재귀적 분할 접근법은 이론적으로 일관된가?
• RQ5 이 방법은 유전자 공존 네트워크 및 인용 네트워크와 같은 실제 세계 네트워크에서 과학적으로 의미 있는 커뮤니티 계층을 드러낼 수 있는가?

주요 결과

• 재귀적 분할 알고리즘은 바이너리 트리 스토케스틱 블록 모델 하에서 온건한 조건 하에 높은 확률로 전체 커뮤니티 계층을 일관되게 복구한다.
• 커뮤니티 구조가 계층적으로 내장되어 있고 K가 클 경우, 표준 K-웨이 스펙트럴 클러스터링보다 이 방법이 성능이 뛰어나다.
• 유전자 공존 네트워크에서는 생물학적으로 의미 있는 여섯 개의 클러스터를 계층적으로 배열된 과학적으로 해석 가능한 형태로 식별하였다.
• 통계 인용 네트워크에서는 명확한 계층도를 보이는 15개의 고유한 연구 커뮤니티를 드러내었으며, 전문가 지식과 잘 일치하였다.
• 계층적 구조는 커뮤니티 간의 근접성과 포함 관계를 드러내므로 평탄한 분할보다 더 뛰어난 해석 가능성을 제공한다.
• 알고리즘은 계산적으로 효율적이며, 정지 기준 외에는 조정이 필요 없어 대규모 네트워크에 실용적이다.