[논문 리뷰] Robust and efficient multi-way spectral clustering

Anil Damle, Victor Minden외 1명|arXiv (Cornell University)|2016. 09. 27.

Complex Network Analysis Techniques참고 문헌 35인용 수 14

한 줄 요약

이 논문은 고유벡터 행렬의 열 편향 QR 분해를 기반으로 한 강건하고 효율적인 다중 방향 스펙트럴 클러스터링 알고리즘을 제안한다. 이는 k-means++와 같은 반복적 초기화가 필요로 하지 않으며, 스토케스틱 블록 모델에서 거의 최적의 복원 성능을 달성하고, 특히 다중 방향 컷 지표를 최소화하는 데서 k-means++를 능가한다. 또한 그래프 크기에 따라 선형적으로 확장 가능하며, 대규모 문제에 대해 랜덤화된 가속 기법을 제공한다.

ABSTRACT

We present a new algorithm for spectral clustering based on a column-pivoted QR factorization that may be directly used for cluster assignment or to provide an initial guess for k-means. Our algorithm is simple to implement, direct, and requires no initial guess. Furthermore, it scales linearly in the number of nodes of the graph and a randomized variant provides significant computational gains. Provided the subspace spanned by the eigenvectors used for clustering contains a basis that resembles the set of indicator vectors on the clusters, we prove that both our deterministic and randomized algorithms recover a basis close to the indicators in Frobenius norm. We also experimentally demonstrate that the performance of our algorithm tracks recent information theoretic bounds for exact recovery in the stochastic block model. Finally, we explore the performance of our algorithm when applied to a real world graph.

연구 동기 및 목표

• k-means++ 초기화에 의존하는 것에서 벗어나, 반복적 최적화에 의존하지 않는 직접적이고 비반복적인 스펙트럴 클러스터링 알고리즘을 개발하는 것.
• 특히 정확한 클러스터링을 위한 정보 이론적 한계에 가까운 이론적 복원 보장을 달성하는 것, 스토케스틱 블록 모델(SBM)에서.
• 대규모 그래프에 대해 k-means++의 효율적이고 확장 가능한 대안을 제공하는 것, 랜덤화된 변형을 통해 상당한 계산적 이점을 제공하는 것.
• 제안된 방법이 k-means++보다 낮은 다중 방향 컷 지표를 제공함과 동시에 효과적인 초기화 전략으로서의 기능을 수행함을 보여주는 것.
• 알고리즘 성능과 고유벡터 임bedding의 기하학적 구조 간의 이론적 및 경험적 연결을 수립하는 것.

제안 방법

• 그래프 라플라시안 또는 인접 행렬의 상위 $ k $ 고유벡터를 포함하는 고유벡터 행렬 $ V_k $ 의 전치행렬 $ V_k^T $ 에 대해 열 편향 QR(CPQR) 분해를 수행한다.
• CPQR 과정은 고유공간에 대해 잘 조절된 기저를 형성하는 $ k $ 개의 열을 식별하여, 진짜 클러스터의 지시 벡터를 근사한다.
• 결과적으로 클러스터 할당은 QR 분해의 순열 및 피벗 구조에서 직접 유도되며, 반복 최적화를 피한다.
• 알고리즘의 랜덤화된 변형은 열을 부분 샘플링하여 계산을 가속화하며, 그래프 크기에 대해 선형 확장성을 확보하면서도 높은 정확도 유지를 한다.
• 이 알고리즘은 독립적인 클러스터링 방법으로도 사용되며, k-means의 초기화 전략으로도 활용되어 더 나은 국소 최적점으로의 수렴을 향상시킨다.
• 이론적 분석은 고유공간에 진짜 클러스터 지시 벡터에 가까운 기저가 포함되어 있을 경우, 알고리즘이 프로베니우스 노름 기준으로 지시 벡터에 가까운 기저를 복원함을 보여준다.

실험 결과

연구 질문

• RQ1 열 편향 QR 분해를 기반으로 한 직접적이고 비반복적인 방법이, 스펙트럴 클러스터링에서 k-means++와 비슷하거나 더 뛰어난 성능을 달성할 수 있는가?
• RQ2 제안된 알고리즘이 스토케스틱 블록 모델(SBM)에서 정보 이론적 한계에 근접한 복원 성능, 특히 정확한 복원 영역에서 달성하는가?
• RQ3 합성 및 실세계 그래프에서 다중 방향 컷 지표를 최소화하는 데 있어 CPQR 기반 방법과 k-means++의 성능는 어떻게 비교되는가?
• RQ4 알고리즘의 랜덤화된 변형은 대규모 그래프에서 높은 정확도를 유지하면서도 선형 계산 확장성을 달성할 수 있는가?
• RQ5 CPQR 기반 클러스터링이 k-means의 효과적인 초기화 전략으로서 얼마나 잘 작동하는가? 더 나은 국소 최적점으로의 수렴을 얼마나 향상시키는가?

주요 결과

• 정적 CPQR 기반 알고리즘은 연결 성분이 290 개인 그래프에서 10개의 클러스터로 분할할 때 다중 방향 컷 지표가 0을 달성했으며, k-means++는 50번 이상의 시행에서 0을 달성하지 못했다.
• 실세계 그래프의 가장 큰 연결 성분에서 6개의 클러스터로 분할한 결과, CPQR 기반 방법은 다중 방향 컷 지표 1.92를 기록했으며, k-means++보다 이 지표에서 뛰어났다. 다만 k-means 목표 함수는 2.52로 k-means++의 0.76보다 높았다.
• CPQR 출력 결과로 초기화된 k-means는 k-means 목표 함수 0.76과 다중 방향 컷 1.86을 기록했으며, 이는 k-means++가 단독으로 50번 시행한 결과 중 최고 성능을 달성한 바와 동일했다.
• 알고리즘의 랜덤화된 변형은 높은 클러스터링 정확도를 유지하면서도 상당한 계산 속도 향상을 제공하여 대규모 그래프에 대한 확장성을 실현했다.
• 이론적 분석은 고유공간에 클러스터 지시 벡터에 유사한 기저가 포함되어 있을 경우, 알고리즘이 프로베니우스 노름 기준으로 지시 벡터에 가까운 기저를 복원함을 증명했다.
• 알고리즘은 SBM에서 정확한 복원을 위한 최신 정보 이론적 한계를 잘 따라가며, 이론적 및 경험적 성능이 최적 성능 한계와 강력하게 일치함을 보였다.