[논문 리뷰] Path-Based Spectral Clustering: Guarantees, Robustness to Outliers, and Fast Algorithms

Anna Little, Mauro Maggioni외 1명|arXiv (Cornell University)|2017. 12. 17.

Advanced Clustering Algorithms Research인용 수 14

한 줄 요약

이 논문은 긴 다리 경로 거리(최장변경로거리, LLPD) 거리 척도를 사용하는 경로 기반 스펙트럴 클러스터링을 제안하며, 높은 차원의 데이터에서 길쭉하고 비정상적인 모양의 클러스터를 고려할 때 외곽값이 많더라도 강인한 클러스터링을 가능하게 한다. 유한 표본 보장을 제공하며, 클러스터 수를 올바르게 식별하는 고유값 간격 통계량을 증명하고, 효율적인 LLPD 계산을 위한 준선형 시간 알고리즘을 도입하여 대규모 데이터셋에서의 확장 가능한 스펙트럴 클러스터링을 실현한다.

ABSTRACT

We consider the problem of clustering with the longest-leg path distance (LLPD) metric, which is informative for elongated and irregularly shaped clusters. We prove finite-sample guarantees on the performance of clustering with respect to this metric when random samples are drawn from multiple intrinsically low-dimensional clusters in high-dimensional space, in the presence of a large number of high-dimensional outliers. By combining these results with spectral clustering with respect to LLPD, we provide conditions under which the Laplacian eigengap statistic correctly determines the number of clusters for a large class of data sets, and prove guarantees on the labeling accuracy of the proposed algorithm. Our methods are quite general and provide performance guarantees for spectral clustering with any ultrametric. We also introduce an efficient, easy to implement approximation algorithm for the LLPD based on a multiscale analysis of adjacency graphs, which allows for the runtime of LLPD spectral clustering to be quasilinear in the number of data points.

연구 동기 및 목표

• 고차원 외곽값과 비구형 클러스터 형상에 강인한 클러스터링 방법을 개발하는 것.
• 탄력적인 확률적 데이터 모델 하에서 LLPD 기반 스펙트럴 클러스터링에 대한 이론적 유한 표본 보장을 제공하는 것.
• 노이즈와 외곽값이 존재하는 상황에서 고유값 간격 통계량이 클러스터 수를 정확히 식별할 수 있음을 증명하는 것.
• 확장성을 위해 LLPD와 관련된 라플라시안 고유벡터 해법을 위한 빠른 준선형 시간 알고리즘을 설계하는 것.
• 고유벡터의 섭동 한계를 통해 스펙트럴 클러스터링의 라벨링 정확도를 높이는 것.

제안 방법

• 모든 경로에서 최대 간선 길이의 최소값으로 정의된 최장변경로거리(LLPD) 거리 척도를 사용하여 클러스터 간 분리도를 향상시킨다.
• 이웃 그래프의 다스케일 분석을 통해 LLPD에 대한 효율적인 근사 알고리즘을 구성하며, 준선형 실행 시간을 확보한다.
• LLPD 기반 유사도 그래프에 스펙트럴 클러스터링을 적용하고, 그래프 라플라시안을 사용하여 저차원 임베딩을 추출한다.
• 퍼터베이션 이론(Fan 등, 2018)을 활용하여 고유벡터의 이탈을 제한하고 정확한 스펙트럴 임베딩을 보장한다.
• 클러스터 포인트들이 ℓ2 거리 기준으로 최소 √(2/N) 이상 떨어지도록 하는 회전 불변 스펙트럴 임베딩을 도입한다.
• 다양체 학습 및 침투 이론 기법을 활용하여 내부 클러스터 LLPD와 클러스터 간 LLPD에 대한 경계를 유도한다.

실험 결과

연구 질문

• RQ1 LLPD가 고차원적이고 외곽값이 포함된 데이터에서, 내부 클러스터 거리와 클러스터 간 거리를 높은 확률로 분리하는 분별성 척도로 기능할 수 있는가?
• RQ2 LLPD 라플라시안의 고유값 간격이 진정한 클러스터 수를 올바르게 식별하는 조건은 무엇인가?
• RQ3 경로 기반 성격을 고려할 때, LLPD는 어떻게 효율적으로 대규모로 계산할 수 있는가?
• RQ4 비모수 혼합 모델 하에서 LLPD 스펙트럴 클러스터링의 라벨링 정확도에 대해 어떤 이론적 보장을 확보할 수 있는가?
• RQ5 제안된 방법은 기하학적 비정상성, 다양한 클러스터 부피, 고차원 노이즈에 대해 어느 정도 강인한가?

주요 결과

• 내부 클러스터 최대 LLPD는 높은 확률로 유계이지만, 클러스터 간 최소 LLPD는 엄밀히 더 크며, 이는 명확한 계면 전이를 보장한다.
• 조건 $\frac{1}{2} \geq 5\eta_1 + 4\eta_\theta + 6\zeta_N\eta_2 + O(\eta_1^2 + \eta_\theta^2 + \zeta_N^2\eta_2^2)$ 가 성립할 경우, 고유값 간격 통계량은 클러스터 수를 정확히 식별한다.
• 조건 $\frac{1}{K^3\zeta_N^2} \gtrsim \eta_1 + \eta_\theta + \zeta_N\eta_2 + O(\eta_1^2 + \eta_\theta^2 + \zeta_N^2\eta_2^2)$ 를 만족할 경우, 완벽한 라벨링 정확도를 확보하며, 이는 잘 분리된 스펙트럴 임베딩을 보장한다.
• 제안된 LLPD 근사 알고리즘은 준선형 시간 내에 실행되어 대규모 스펙트럴 클러스터링을 실현 가능하게 한다.
• 스펙트럴 임베딩 오차는 $\|\tilde{\Phi}R - \Phi\|_{\text{max}} \leq P_3 = O\left(\frac{K^{5/2}\zeta_N^2}{\sqrt{N}}(\eta_1 + \eta_\theta + \zeta_N\eta_2)\right)$ 로 유계이며, 이는 안정적인 클러스터링을 보장한다.
• 이 방법은 클러스터 기하학에 대해 불변이며, 외곽값 수가 내포된 포인트 수에 비해 많아지는 경우에도 강인하다.