[논문 리뷰] Clustering with Spectral Norm and the k-means Algorithm

Amit Kumar, Ravindran Kannan|arXiv (Cornell University)|2010. 04. 11.

Data Management and Algorithms참고 문헌 12인용 수 28

한 줄 요약

이 논문은 k-means 방법에 기반한 새로운 군집화 알고리즘을 제안하며, 결정론적 근접 조건 하에서 작동한다. 이 조건은 각 점이 자신의 군집 중심보다 다른 중심보다 $Ω(k)$ 표준편차 더 가까이 투영되어야 한다는 것을 요구한다. 이 방법은 스펙트럴 노름 기반 표준편차를 사용하며, 잘못된 점이 존재하는 상황에서도 진정한 중심으로 수렴함을 증명한다. 이는 이전의 가우시안 및 힘법 분포 결과를 더 약한 분리 조건 하에서 일반화한다.

ABSTRACT

There has been much progress on efficient algorithms for clustering data points generated by a mixture of $k$ probability distributions under the assumption that the means of the distributions are well-separated, i.e., the distance between the means of any two distributions is at least $Ω(k)$ standard deviations. These results generally make heavy use of the generative model and particular properties of the distributions. In this paper, we show that a simple clustering algorithm works without assuming any generative (probabilistic) model. Our only assumption is what we call a "proximity condition": the projection of any data point onto the line joining its cluster center to any other cluster center is $Ω(k)$ standard deviations closer to its own center than the other center. Here the notion of standard deviations is based on the spectral norm of the matrix whose rows represent the difference between a point and the mean of the cluster to which it belongs. We show that in the generative models studied, our proximity condition is satisfied and so we are able to derive most known results for generative models as corollaries of our main result. We also prove some new results for generative models - e.g., we can cluster all but a small fraction of points only assuming a bound on the variance. Our algorithm relies on the well known $k$-means algorithm, and along the way, we prove a result of independent interest -- that the $k$-means algorithm converges to the "true centers" even in the presence of spurious points provided the initial (estimated) centers are close enough to the corresponding actual centers and all but a small fraction of the points satisfy the proximity condition. Finally, we present a new technique for boosting the ratio of inter-center separation to standard deviation.

연구 동기 및 목표

• 데이터에 대한 생성적 확률 모델을 가정하지 않고도 작동하는 군집화 알고리즘을 개발하는 것.
• k-means가 진정한 군집 중심으로 수렴할 수 있는 최소한의 결정론적 조건인 '근접 조건'을 규명하는 것.
• 기존의 가우시안 및 힘법 분포 혼합 모델 결과를 더 약한 분리 조건으로 일반화하는 것.
• 초기 중심이 가까운 경우에 모든 점이 근접 조건을 만족할 때 k-means가 진정한 중심으로 수렴함을 증명하는 것.
• 군집 중심 간 분리 정도 대비 표준편차 비율을 향상시키는 부스팅 기법을 도입하여 더 약한 분리 조건을 허용하는 것.

제안 방법

• 데이터 행렬 $ A $ 와 중심 행렬 $ C $ 에 대해 행렬 $ A - C $ 의 스펙트럴 노름을 정의하여 근접 조건에서의 표준편차를 추정한다.
• 근접 조건 도입: 임의의 점에 대해, 그 점이 자신의 진짜 중심과 다른 중심을 연결하는 직선에 투영될 때, 자신의 중심으로부터의 거리는 스펙트럴-노름 기반 표준편차의 $ Ω(k) $ 배 더 가까워야 한다.
• 초기 중심이 진짜 중심에 가까운 조건에서 k-means 알고리즘을 적용하고, 전체 점의 $ ε $ 분율 이하를 제외한 모든 점이 근접 조건을 만족할 경우 진짜 중심으로 수렴함을 증명한다.
• 기하학적 추론(정리 5.4)을 사용하여 k-means에서 잘못 분류된 점은 진짜 중심에서 멀리 떨어져 있어야 하며, 이는 그 수를 제한함을 보여준다.
• 신호 대 노이즈 비율을 향상시켜 분리 조건을 더 약하게 만들 수 있도록 부스팅 기법을 개발한다.
• 가우시안 및 힘법 분포에 이 프레임워크를 적용하여, 기존 결과가 주요 정리의 따름정리로 도출되며, 꼬리 조건 없이 분산 한계 하에서 새로운 결과가 성립함을 보여준다.

실험 결과

연구 질문

• RQ1 k-means 군집화가 생성적 확률 모델을 가정하지 않는 결정론적 비생성 조건 하에서도 진짜 중심으로 수렴할 수 있는가?
• RQ2 특정 확률 모델을 가정하지 않고도 정확한 군집화를 보장하는 데 필요한 데이터 구조의 최소 조건은 무엇인가?
• RQ3 k-means 군집화에서 잘못된 점을 어떻게 견디면서도 진짜 중심으로 수렴할 수 있는가?
• RQ4 새로운 부스팅 기법을 사용하여 혼합 모델에서 군집 중심 간 분리 조건을 약화시킬 수 있는가?
• RQ5 기존의 가우시안 및 힘법 혼합 모델 결과들이 통합된 일반 근접 조건의 따름정리로 도출되는 정도는 어느 정도인가?

주요 결과

• 초기 중심이 충분히 가까운 경우에 전체 점의 $ ε $ 분율 이하를 제외한 모든 점이 근접 조건을 만족하면 k-means 알고리즘이 진짜 군집 중심으로 수렴한다.
• 근접 조건은 기존의 생성 모델(가우시안 및 힘법 분포 포함)에서 만족되며, 이는 이전 결과들이 주요 정리의 따름정리로 도출됨을 의미한다.
• 가우시안 혼합 모델의 경우, 분리 조건 $ |\mu_r - \mu_s| \geq \Omega(\sigma k \cdot \log(d / w_{\text{min}})) $ 하에서 $ n = \text{poly}(d / w_{\text{min}}) $ 개의 표본을 정확히 분류할 수 있다.
• 분포가 $ P[|(X - \mu_r) \cdot v| > \sigma t] \leq 1/t^\gamma $ 를 만족하는 힘법 분포의 경우, 분리 조건에 $ \log(d / w_{\text{min}}) + \varepsilon^{-1/\gamma} $ 가 포함된 조건 하에서 최소 $ 1 - \varepsilon $ 분율의 점을 분류할 수 있다.
• 가우시안 및 힘법 모델 모두에서 스펙트럴 노름 기반 표준편차 $ \|A - C\| / \sqrt{n} $ 는 $ O(\sigma \sqrt{d} \cdot \text{polylog}(n)) $ 임을 보였다.
• 신호 대 노이즈 비율을 향상시켜 근접 조건에서의 분리 조건을 더 약하게 만들 수 있도록 부스팅 기법을 도입하였다.