[논문 리뷰] Quantization/clustering: when and why does k-means work?

Clément Levrard|arXiv (Cornell University)|2018. 01. 11.

Advanced Clustering Algorithms Research참고 문헌 30인용 수 7

한 줄 요약

이 논문은 k-means 군집화와 양자화의 조건부 호환성을 조사하며, 마진 조건 하에서 경험 위험 최소화자와 Lloyd 알고리즘이 왜곡 및 분류 오차 측면에서 빠르고 최적의 수렴 속도를 달성하는 것으로 보여준다. 또한 데이터가 분리성과 군집 가능성 가정을 만족할 경우 k-means 출력이 거의 최적의 군집화를 제공함을 입증한다.

ABSTRACT

Though mostly used as a clustering algorithm, k-means are originally designed as a quantization algorithm. Namely, it aims at providing a compression of a probability distribution with k points. Building upon [21, 33], we try to investigate how and when these two approaches are compatible. Namely, we show that provided the sample distribution satisfies a margin like condition (in the sense of [27] for supervised learning), both the associated empirical risk minimizer and the output of Lloyd's algorithm provide almost optimal classification in certain cases (in the sense of [6]). Besides, we also show that they achieved fast and optimal convergence rates in terms of sample size and compression risk.

연구 동기 및 목표

• k-means 군집화가 확률 분포의 최적의 양자화와 일치하는 이론적 조건을 이해하는 것.
• k-means를 군집화 알고리즘이라고 보는 것과 그 원래의 양자화 방법으로서의 목적 사이의 격차를 메우는 것.
• 경험 위험 최소화자와 Lloyd 알고리즘의 표본 크기 및 왜곡 측면에서의 빠르고 최적의 수렴 속도를 확립하는 것.
• 분리성과 초기화에 대한 강건성을 보장하는 마진 조건 하에서 k-means 출력의 분류 오차를 분석하는 것.
• 충분한 군집 분리 조건 하에서 Lloyd 알고리즘이 고확률적으로 거의 최적의 분류 성능을 달성할 수 있음을 보여주는 것.

제안 방법

• 감독 학습에서 영감을 얻은 마진 조건([28]에 따름)을 사용하여 군집 중심 간 충분한 분리를 확보한다.
• Voronoi 세포 위에서 경험 확률과 진짜 확률 간의 이탈을 제어하기 위해 Hoeffding의 부등식을 적용한다.
• 경험 및 진짜 분류 오차 간의 관계를 설정하기 위해 Voronoi 세포의 대칭 차이 bound를 사용한다.
• 경험 왜곡과 진짜 왜곡 간의 이탈을 제어하기 위해 농도 부등식을 활용한다.
• 중심 조건과 Voronoi 분할의 안정성을 활용하여 Lloyd 알고리즘 출력과 경험 최소화자 간의 거리를 제어한다.
• 문헌 [21, 34]의 결과를 통합하여 군집이 잘 분리되어 있을 경우 양호한 초기화가 낮은 분류 오차를 이끌어낼 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 k-means 군집화가 왜곡과 오분류 측면에서 거의 최적의 분류를 도출할 수 있는 조건은 무엇인가?
• RQ2 마진 조건은 표본 크기 및 분류 오차 측면에서 k-means의 수렴 속도에 어떻게 영향을 미치는가?
• RQ3 군집 가능성과 분리성 가정 하에서 Lloyd 알고리즘이 최적의 경험 최소화자를 얼마나 잘 복원하는가?
• RQ4 마진 조건 하에서 k-means의 분류 오차가 기대값과 고확률적으로 유계임을 입증할 수 있는가?
• RQ5 데이터 분포가 마진 조건을 만족할 경우, 양자화 성능과 k-means의 군집 정확도 간의 관계는 어떠한가?

주요 결과

• 마진 조건 하에서 Lloyd 알고리즘의 분류 오차는 $ O\left(\sqrt{\frac{\log n}{n}}\right) $ 속도로 수렴하며, 이는 최적의 속도와 일치한다.
• 경험 최소화자와 Lloyd 알고리즘 출력은 왜곡 수렴 속도가 $ O\left(\frac{\sqrt{\log n}}{\sqrt{n}}\right) $ 로 최적이다.
• 군집 중심이 충분히 분리되어 있을 경우, Lloyd 알고리즘이 잘못 분류하는 점의 수는 고확률적으로 $ \frac{10}{p_{\text{min}}} $ 이하이다.
• Lloyd 출력과 경험 최소화자 간의 거리는 $ \frac{60M}{n p_{\text{min}}^2} $ 이하로 유계이며, 이는 안정성을 보장한다.
• 고확률적으로, Lloyd 출력의 분류 오차는 진짜 최적 중심에 대해 $ C M \sqrt{\frac{1}{n}} \sqrt{\log n} $ 이하로 유계이다.
• k=2일 경우, 구성 요소가 구형이고 무게가 동일할 때, 최적의 분류는 진짜 평균과 다를지라도 평균 기반 분할과 동일하다.