[논문 리뷰] Theoretical Analysis of the $k$-Means Algorithm - A Survey

Johannes Blömer, Christiane Lammersen외 2명|arXiv (Cornell University)|2016. 02. 26.

Advanced Clustering Algorithms Research참고 문헌 62인용 수 9

한 줄 요약

이 종합적 서베이는 k-means 알고리즘의 수렴 성질, 근사 품질, 실행 시간에 대한 체계적인 이론적 분석을 제공한다. 또한 Bregman 발산으로의 분석 확장을 통해 스무딩 복잡도 한계를 설정하고, 더 넓은 이질성 측정법에 대해 k-means++와 같은 시딩 방법을 일반화한다.

ABSTRACT

The $k$-means algorithm is one of the most widely used clustering heuristics. Despite its simplicity, analyzing its running time and quality of approximation is surprisingly difficult and can lead to deep insights that can be used to improve the algorithm. In this paper we survey the recent results in this direction as well as several extension of the basic $k$-means method.

연구 동기 및 목표

• k-means 알고리즘의 성능에 대한 체계적인 이론적 리뷰를 제공함: 수렴 속도와 해 품질 포함.
• 다양한 입력 조건 하에서 알고리즘의 실행 시간과 근사 보장에 대해 조사함.
• 제곱 유클리드 거리에서의 이론적 결과를 더 넓은 유형의 유사도 측정법인 Bregman 발산으로 일반화함.
• 초기화 전략(시딩 방법)이 해 품질과 수렴에 미치는 영향을 분석함.
• 다양한 편향 모델과 발산 유형 하에서 k-means 문제의 복잡도를 탐색함.

제안 방법

• 입력 점의 가우시안 편향 하에서 k-means의 기대 실행 시간을 구속하기 위해 스무딩 분석을 사용함.
• 일반적인 Bregman 발산에 대해 k-means를 분석하기 위해 σ로 매개변수화된 추상적 편향 모델을 적용함.
• Bregman 발산이 마할라노비스 거리에서 얼마나 벗어나는지를 측정하기 위해 ζ와 ξ를 도입함으로써 복잡도 한계에 영향을 줌.
• k-means++ 시딩 알고리즘을 μ-유사 Bregman 발산으로 일반화하여 SBE 문제에 대해 O(μ⁻² log k)-근사치를 달성함.
• ε-분리 가능한 경우에 대해 Bregman 발산에 적응형 샘플링 기법을 적용함.
• 혼합 Bregman 발산, 즉 대칭화된 변형에 대해 k-means++를 확장하여, ρψ가 삼각 부등식 위반 정도를 측정하는 데 사용되는 O(ρψ log k)-근사치를 달성함.

실험 결과

연구 질문

• RQ1 Bregman 발산에 대해 k-means 알고리즘의 스무딩 복잡도는 무엇이며, 다항식으로 bound될 수 있는가?
• RQ2 k-means++와 같은 시딩 방법은 Bregman 발산으로 어떻게 일반화되며, 어떤 근사 보장을 제공하는가?
• RQ3 비유클리드 이질성 측정법에 대해 k-means의 이론적 한계는 수렴 시간과 해 품질 측면에서 무엇인가?
• RQ4 Bregman 발산의 특이점과 정의역 제약 조건이 k-means의 이론적 분석에 어떤 영향을 미치는가?
• RQ5 Arthur 등이 제곱 유클리드 거리에 대해 도출한 다항식 스무딩 복잡도 한계는 일반적인 Bregman 발산으로 확장될 수 있는가?

주요 결과

• Arthur, Manthey, Röglin에 의해 증명된 lin, 1/σ에 대해 다항식 스무딩 복잡도를 갖는 제곱 유클리드 거리에 대한 k-means 알고리즘의 스무딩 복잡도.
• Bregman 발산에 대해 Manthey와 Röglin은 두 가지 스무딩 복잡도 한계를 확립함: poly(n^√k, 1/σ) 및 k^kd · poly(n, 1/σ), 이는 모두 제곱 유클리드 거리에 대해 알려진 한계와 일치함.
• Bregman 발산의 한계는 ξ와 1/ζ에 대해 다항식적으로 의존하며, 이는 마할라노비스 거리에서의 벗어남을 측정함.
• k-means++ 시딩 방법은 μ-유사 Bregman 발산으로 일반화되어 SBE 문제에 대해 O(μ⁻² log k)-근사치를 달성함.
• 혼합 Bregman 발산의 경우 Nock 등은 ρψ가 삼각 부등식 위반 정도를 측정하는 데 사용되는 O(ρψ log k)-근사치를 달성함.
• 일반적인 마할라노비스 발산에 대해 다항식 스무딩 복잡도 한계를 일반화하는 것은 여전히 열린 문제이며, A의 최대 고유값이 |P|에 대해 다항식으로 유계여야만 가능함.