[논문 리뷰] Partitioning Well-Clustered Graphs: Spectral Clustering Works!

Richard Peng, He Sun외 1명|arXiv (Cornell University)|2014. 11. 07.

Complex Network Analysis Techniques참고 문헌 28인용 수 48

한 줄 요약

이 논문은 스펙트럴 클러스터링이 잘 클러스터링된 그래프에서 이론적 보장을 갖는다는 것을 보여주며, 그래프 라플라시안의 하위 고유벡터를 사용해 정점들을 임bedding하고 k-means 클러스터링을 적용하면 최적의 k-웨이 분할에 좋은 근사치를 얻을 수 있음을 증명한다. 주요 기여는 열화합수 근사와 근접한 이웃 탐색을 기반으로 한 거의 선형 시간 알고리즘으로, 스펙트럴 갭 매개변수 $\Upsilon$에 대해 $\widetilde{O}(k^4 / \Upsilon)$의 근사 비율을 달성한다.

ABSTRACT

In this paper we study variants of the widely used spectral clustering that partitions a graph into k clusters by (1) embedding the vertices of a graph into a low-dimensional space using the bottom eigenvectors of the Laplacian matrix, and (2) grouping the embedded points into k clusters via k-means algorithms. We show that, for a wide class of graphs, spectral clustering gives a good approximation of the optimal clustering. While this approach was proposed in the early 1990s and has comprehensive applications, prior to our work similar results were known only for graphs generated from stochastic models. We also give a nearly-linear time algorithm for partitioning well-clustered graphs based on computing a matrix exponential and approximate nearest neighbor data structures.

연구 동기 및 목표

• 스토케스틱 모델을 초월하여 잘 클러스터링된 그래프에 대한 스펙트럴 클러스터링을 엄밀히 분석하는 것.
• 라플라시안의 고유벡터와 진정한 클러스터의 지시자 벡터 사이의 연결 고리를 설정하는 것.
• 스펙트럴 임bedding과 근접한 이웃 탐색을 기반으로 한 거의 선형 시간 알고리즘을 개발하여 k-웨이 그래프 분할을 수행하는 것.
• 스펙트럴 갭 가정 $\Upsilon(k) = \lambda_{k+1}/\rho(k)$ 하에서 분할 품질에 대한 근사 보장을 제공하는 것.

제안 방법

• 정규화된 라플라시안의 하위 $k$개 고유벡터를 사용해 그래프 정점들을 저차원 공간에 임bedding한다.
• 임bedded된 점들에 k-means 클러스터링을 적용하여 클러스터를 복구한다.
• 효율적인 계산을 위해 행렬 지수(열화합수)를 사용해 스펙트럴 임bedding을 근사한다.
• 클러스터링 단계의 가속화를 위해 근접한 이웃 데이터 구조를 활용한다.
• 초기 클러스터 중심을 안정적으로 선택하기 위해 시딩 및 트리밍 절차를 사용한다.
• 결과로 얻어진 분할이 도우미 도달률과 볼륨 편차 측면에서 최적의 $k$-웨이 분할과 $\widetilde{O}(k^4 / \Upsilon)$ 이내로 근사됨을 증명한다.

실험 결과

연구 질문

• RQ1 스펙트럴 클러스터링은 스토케스틱 모델이 아닌 스펙트럴 갭 가정 하에 잘 클러스터링된 그래프에서 엄밀히 정당화될 수 있는가?
• RQ2 거의 선형 시간 분할을 가능하게 하기 위해 스펙트럴 임bed딩을 어떻게 효율적으로 근사할 수 있는가?
• RQ3 도우미 도달률과 최적 분할에서의 볼륨 편차 측면에서 스펙트럴 클러스터링의 근사 품질은 어떠한가?
• RQ4 열화합수는 잘 클러스터링된 그래프에서 스펙트럴 임bed딩과 클러스터 복구에 어떻게 관련되는가?
• RQ5 증명 가능한 근사 보장을 갖는 거의 선형 시간 알고리즘을 설계할 수 있는가?

주요 결과

• 각 클러스터 $A_i$에 대해 $\phi_{G}(A_i) = 1.1 \cdot \phi_{G}(S_i) + \widetilde{O}(k^4 / \Upsilon)$의 근사 비율을 달성한다. 여기서 $\phi_{G}(S_i)$는 진정한 클러스터의 도우미 도달률이다.
• 반환된 분할 $A_i$와 진정한 클러스터 $S_i$ 사이의 볼륨 편차는 $\operatorname{vol}(A_i \triangle S_i) = \widetilde{O}(k^4 / \Upsilon) \cdot \operatorname{vol}(S_i)$를 만족한다.
• 알고리즘은 $\widetilde{O}(m)$ 시간에 실행되며, 여기서 $m$은 간선 수이므로 거의 선형 시간이다.
• 스펙트럴 임bed딩은 $t = \Omega(1/(\lambda_k \log n))$인 열화합수 $\exp(-tL)$를 사용해 근사 가능하여 효율적인 계산이 가능하다.
• 이 방법은 $\Upsilon(k) = \lambda_{k+1}/\rho(k)$의 갭 가정에 의존하며, 이는 고유값 갭보다 더 약한 조건이지만 실무에서 잘 타당성이 있다.
• 이론적 분석은 갭 조건 하에서 고유벡터가 클러스터 지시자 벡터와 밀접하게 일치함을 보여주며, 스펙트럴 클러스터링의 경험적 성공을 정당화한다.