[논문 리뷰] Improved Spectral-Norm Bounds for Clustering

Pranjal Awasthi, Or Sheffet|arXiv (Cornell University)|2012. 06. 14.

Bayesian Methods and Mixture Models참고 문헌 25인용 수 23

한 줄 요약

이 논문은 중심 간 거리 분리 조건을 √k 배로 약화하고, 유사도 조건을 k 배로 약화함으로써 스펙트럴 노름 기반 클러스터링 경계를 향상시키며, 강력한 클러스터링 보장을 유지한다. 삼각 부등식과 마르코프 부등식만을 사용한 분석을 통해, 유사도 조건을 만족하는 점들이 (1−ε) 비율에 불과할 경우에도 거의 최적의 성능을 달성한다.

ABSTRACT

Aiming to unify known results about clustering mixtures of distributions under separation conditions, Kumar and Kannan[2010] introduced a deterministic condition for clustering datasets. They showed that this single deterministic condition encompasses many previously studied clustering assumptions. More specifically, their proximity condition requires that in the target $k$-clustering, the projection of a point $x$ onto the line joining its cluster center $μ$ and some other center $μ'$, is a large additive factor closer to $μ$ than to $μ'$. This additive factor can be roughly described as $k$ times the spectral norm of the matrix representing the differences between the given (known) dataset and the means of the (unknown) target clustering. Clearly, the proximity condition implies center separation -- the distance between any two centers must be as large as the above mentioned bound. In this paper we improve upon the work of Kumar and Kannan along several axes. First, we weaken the center separation bound by a factor of $\sqrt{k}$, and secondly we weaken the proximity condition by a factor of $k$. Using these weaker bounds we still achieve the same guarantees when all points satisfy the proximity condition. We also achieve better guarantees when only $(1-ε)$-fraction of the points satisfy the weaker proximity condition. The bulk of our analysis relies only on center separation under which one can produce a clustering which (i) has low error, (ii) has low $k$-means cost, and (iii) has centers very close to the target centers. Our improved separation condition allows us to match the results of the Planted Partition Model of McSherry[2001], improve upon the results of Ostrovsky et al[2006], and improve separation results for mixture of Gaussian models in a particular setting.

연구 동기 및 목표

• Kumar와 Kannan(2010)의 이전 결과를 통합하고 개선하여 중심 간 분리 조건과 유사도 조건을 모두 약화시키는 것.
• 복잡한 반복적 절차 대신 기본 부등식(삼각 부등식과 마르코프 부등식)에 의존하여 클러스터링 알고리즘의 분석을 단순화하는 것.
• 점들 중 (1−ε) 비율만 유사도 조건을 만족할 경우에도, 특히 k가 n과 함께 증가할 때 더 나은 클러스터링 보장을 달성하는 것.
• 식별된 모델들, 특히 Planted Partition Model과 가우시안 믹스처 모델에 대해 기존의 경계를 유지하거나 초월하는 결과를 더 약한 가정 하에 도출하는 것.

제안 방법

• 중심 간 거리 분리 조건을 O(k)에서 O(√k)로 개선하여 중심 간 거리 요구 조건을 완화한다.
• 유사도 조건을 이전의 제곱형에서 선형형으로 재구성함으로써, 부분적인 만족 조건 하에서도 더 강력한 보장을 가능하게 한다.
• 핵심 분석에서 복잡한 반복적 정련 절차(예: Kumar-Kannan 알고리즘)를 피하고 삼각 부등식과 마르코프 부등식만을 사용한다.
• 데이터 행렬 A와 목표 중심 행렬 C의 차이인 A−C에 대한 스펙트럴 노름 분석을 적용하여 클러스터링 성능의 편차를 경계한다.
• 새로운 분리 조건 하에서 Planted Partition Model에서 모든 점들이 w.h.p. √k-좋음임을 증명하며, McSherry의 결과와 정확히 일치시킨다.
• 유사도 조건을 만족하는 점들이 (1−ε) 비율일 경우, 알고리즘이 전체 점 중 (ε + O(1/c⁴))-비율 이외의 점들을 정확히 클러스터링함을 보이며, 이는 이전 연구에서의 O(k²ε)에 비해 향상된 결과이다.

실험 결과

연구 질문

• RQ1 Kumar와 Kannan의 프레임워크에서 중심 간 분리 조건을 √k 배로 약화시켜도 클러스터링 보장이 유지될 수 있는가?
• RQ2 유사도 조건을 k 배로 완화시켜도 모든 점 중 소수의 점을 제외한 나머지 점들이 정확히 클러스터링될 수 있는가?
• RQ3 삼각 부등식과 마르코프 부등식과 같은 기본 부등식만으로도 복잡한 반복 정련 절차 없이 강력한 클러스터링 성능을 달성할 수 있는가?
• RQ4 더 약한 가정 하에서도 개선된 경계가 Planted Partition Model과 가우시안 믹스처 모델의 기존 결과를 따라하거나 초월할 수 있는가?
• RQ5 분리 조건을 국소적으로 재정의할 수 있는가? 즉, 전반적인 스펙트럴 노름이 아닌 개별 클러스터의 구조에만 의존하도록 할 수 있는가?

주요 결과

• Kumar와 Kannan의 결과에 비해 중심 간 분리 경계를 √k 배로 개선하여 기하학적 가정 조건을 훨씬 더 약하게 만들 수 있다.
• 유사도 조건이 k 배로 약화되어, 알고리즘이 점들 중 (1−ε) 비율만 유사도 조건을 만족해도 성공할 수 있다.
• 유사도 조건을 만족하는 점들이 (1−ε) 비율일 경우, 알고리즘이 전체 점 중 (ε + O(1/c⁴))-비율 이외의 점들을 정확히 클러스터링하며, 이는 [KK10]에서의 O(k²ε)에 비해 상당한 향상이다.
• 분석이 크게 단순화되었으며, 삼각 부등식과 마르코프 부등식만을 사용하여 다중 Lloyd 반복이나 복잡한 농도 분석이 필요 없어졌다.
• 개선된 경계는 Planted Partition Model에서 McSherry(2001)의 결과와 정확히 일치하며, 이는 이전 연구의 격차를 해소한다.
• 이 프레임워크는 일반적이므로, 특히 k가 n과 함께 증가할 때 특정 분리 조건 하에서 가우시안 믹스처 모델에 대한 이전 결과를 향상시킬 수 있다.