[논문 리뷰] Consistency of Spectral Clustering on Hierarchical Stochastic Block Models

Lihua Lei, Xiaodong Li외 1명|arXiv (Cornell University)|2020. 04. 30.

Complex Network Analysis Techniques참고 문헌 29인용 수 10

한 줄 요약

이 논문은 비정규화된 그래프 라플라시안의 페일러 벡터를 사용하여 계층적 스토케스틱 블록 모형(HSBM)에 대해 재귀적 스펙트럴 클러스터링 알고리즘의 강한 일致성을 확립한다. 이는 평균 차수 $O(\log n)$로 매우 희박한 네트워크에서도 진정한 커뮤니티 계층을 신뢰성 있게 복원할 수 있음을 증명하며, 커뮤니티 간 연결 확률이 수개의 차수만큼 다름을 다루는 다스케일 연결 확률을 처리할 수 있다.

ABSTRACT

We study the hierarchy of communities in real-world networks under a generic stochastic block model, in which the connection probabilities are structured in a binary tree. Under such model, a standard recursive bi-partitioning algorithm is dividing the network into two communities based on the Fiedler vector of the unnormalized graph Laplacian and repeating the split until a stopping rule indicates no further community structures. We prove the strong consistency of this method under a wide range of model parameters, which include sparse networks with node degrees as small as $O(\log n)$. In addition, unlike most of existing work, our theory covers multiscale networks where the connection probabilities may differ by orders of magnitude, which comprise an important class of models that are practically relevant but technically challenging to deal with. Finally we demonstrate the performance of our algorithm on synthetic data and real-world examples.

연구 동기 및 목표

• 이론적으로 타당한 계층적 클러스터링 알고리즘과 다스케일 커뮤니티 구조를 보이는 실질적인 네트워크 모형 사이의 격차를 메우기 위해.
• 비균형적인 계층과 이질적인 연결 확률을 允허하는 일반적인 계층적 스토케스틱 블록 모형(HSBM) 하에서 재귀적 스펙트럴 클러스터링의 이론적 일致성을 확립하기 위해.
• 평균 차수가 $O(\log n)$로 증가하는 희박한 네트워크에서 라플라시안 기반 분할 클러스터링 알고리즘의 성능을 분석하기 위해.
• 이전 모형이 균일한 척도나 균형 잡힌 계층을 요구하는 제한을 넘어서, 연결 확률이 수개의 차수만큼 다름을 반영하는 다스케일 네트워크를 수용할 수 있는 이론적 프레임워크를 개발하기 위해.

제안 방법

• 매 단계에서 네트워크를 두 개의 커뮤니티로 재귀적으로 분할하기 위해 비정규화된 그래프 라플라시안의 페일러 벡터(두 번째로 작은 고유값에 해당하는 고유벡터)를 사용한다.
• 정지 기준이 어떤 부분 그래프에도 더 이상 커뮤니티 구조가 존재하지 않는다고 판단할 때까지 반복적으로 이분화 전략을 적용한다.
• 고유벡터에 대한 입자별 편향 경계를 사용하여, HSBM 하에서 관측된 페일러 벡터가 인구 수준의 페일러 벡터에 매우 가까이 근접함을 보여준다.
• 인구 라플라시안의 고유벡터가 계층적 커뮤니티 구조를 식별할 수 있음을 입증하며, 이는 이전의 페일러 벡터 결과를 전체 고유구조로 일반화한다.
• 이질적인 연결 확률과 비균형 계층을 고려한 고유공간 편향의 정교한 분석을 도입한다.
• 스펙트럼 노름과 라플라시안의 입자별 이탈에 대한 확률적 경계를 사용하여 경험적 고유벡터와 인구 고유벡터 간의 오차를 통제한다.

실험 결과

연구 질문

• RQ1 비정규화된 라플라시안의 페일러 벡터를 사용하는 재귀적 스펙트럴 클러스터링이 평균 차수가 $O(\log n)$인 희박한 네트워크에서 진정한 계층적 커뮤니티 구조를 강하게 일치시킬 수 있는가?
• RQ2 실제 세계의 다스케일 네트워크를 반영하여 커뮤니티 간 연결 확률이 수개의 차수만큼 다를 경우에도 이 방법이 여전히 일치성을 유지하는가?
• RQ3 비균형적인 계층적 구조와 이질적인 연결 확률 하에서 알고리즘이 어떻게 작동하는가? 이러한 요소들은 실제 네트워크에서 흔하지만 이론적 분석에 기술적으로 도전적이다.
• RQ4 대부분의 이론적 연구가 비계층적 클러스터링에 집중하는 것과 달리, 계층도를 생성하는 분할 클러스터링 알고리즘에 대해 이론적 보장을 확립할 수 있는가?
• RQ5 일致한 계층 구조 복원을 위해 필요한 모델 파라미터 조건(예: 최소 연결 확률 차이, 네트워크의 희박성 등)은 무엇인가?

주요 결과

• 재귀적 스펙트럴 클러스터링 알고리즘은 평균 차수가 $O(\log n)$로 증가하는 계층적 스토케스틱 블록 모형(HSBM) 하에서도 강한 일치성을 보인다. 이는 이러한 보장이 가능한 가장 희박한 영역을 포함한다.
• 연결 확률이 수개의 차수만큼 다름을 반영하는 다스케일 연결 확률을 가진 네트워크에서도 알고리즘이 성공적으로 계층적 커뮤니티 구조를 복원한다.
• 이론적 분석에 따르면 관측된 라플라시안의 페일러 벡터는 모델 가정 하에 $\sqrt{n}\|\mathbf{U}\mathrm{sign}(\mathbf{U}^T\mathbf{U}^*) - \mathbf{U}^*\|_{2\rightarrow\infty} \lesssim \frac{n\bar{p}^*\sqrt{n\bar{p}^*\log n}}{(n(\underline{p}_*-p_\emptyset))^2}$로 유계이며, 인구 수준의 페일러 벡터와 높은 정확도로 근접한다.
• 이전 결과를 일반화하여, 인구 라플라시안의 전체 고유공간이 페일러 벡터 외에도 계층적 구조를 포함하고 있음을 입증한다.
• 균형 잡힌 계층이나 균일한 연결 확률을 요구하지 않기 때문에, 현실적이고 이질적인 네트워크 구조에 적용 가능하다.
• 고유벡터 편향에 대한 경계는 추정된 페일러 벡터의 부호 패턴이 높은 확률로 진정한 커뮤니티 구조와 일치함을 보장하여 정확한 커뮤니티 복원을 가능하게 한다.