[논문 리뷰] k-Means has Polynomial Smoothed Complexity

David Arthur, Bodo Manthey외 1명|ArXiv.org|2009. 04. 07.

Advanced Clustering Algorithms Research참고 문헌 25인용 수 15

한 줄 요약

이 논문은 k-means 알고리즘이 다항수준의 스무딩 복잡도를 갖는다는 것을 입증하며, 데이터 포인트 수 $n$과 편미분 표준편차의 역수 $1/\sigma$에 대해 그 기대 반복 수가 다항식으로 유 bounds됨을 보여준다. 이 결과는 입력 데이터에 무작위로 편미분을 가했을 때 효율적인 수렴이 이루어짐을 보여주며, 기하급수적 최악의 경우 실행 시간과의 괴리를 해결하는 데 기여한다.

ABSTRACT

The k-means method is one of the most widely used clustering algorithms, drawing its popularity from its speed in practice. Recently, however, it was shown to have exponential worst-case running time. In order to close the gap between practical performance and theoretical analysis, the k-means method has been studied in the model of smoothed analysis. But even the smoothed analyses so far are unsatisfactory as the bounds are still super-polynomial in the number n of data points. In this paper, we settle the smoothed running time of the k-means method. We show that the smoothed number of iterations is bounded by a polynomial in n and 1/σ, where σis the standard deviation of the Gaussian perturbations. This means that if an arbitrary input data set is randomly perturbed, then the k-means method will run in expected polynomial time on that input set.

연구 동기 및 목표

• k-means 알고리즘의 실용적 효율성과 이론적 최악의 경우 기하급수적 실행 시간 사이의 괴리를 해결하기 위해.
• 스무딩 분석에서 기대 반복 수에 대한 다항 상界를 증명함으로써 격차를 메우기 위해.
• 입력 데이터의 무작위 편미분이 k-means에 대해 다항 시간 수렴을 이끌어낸다는 것을 입증하기 위해.
• 실제 응용에서 관찰된 k-means의 빠른 성능에 대한 이론적 기반을 제공하기 위해.

제안 방법

• 입력 데이터에 가우시안 노이즈를 표준편차 $\sigma$로 무작위로 편미분하는 스무딩 분석 모델에서 k-means를 분석하기 위해.
• 클러스터 구성에 대한 기하학적 및 확률적 추론을 통해 반복 간 잠재 함수의 감소를 유 bounds하기 위해.
• 클러스터 변화의 구조와 잠재 함수 감소에 따라 반복을 여섯 종류로 분류하기 위해.
• 작은 잠재 함수 감소 확률을 유 bounds하기 위해 농도 부등식과 체적 추론을 사용하기 위해.
• 세 번의 반복을 연속으로 분석하여 잠재 함수 감소의 재귀적 분석을 통해 다항 상계를 도출하기 위해.
• 각 반복 유형의 상계를 통합하여 총 기대 실행 시간을 유도하기 위해.

실험 결과

연구 질문

• RQ1 k-means 알고리즘은 다항 스무딩 복잡도를 갖는가, 즉 기대 반복 수가 $n$과 $1/\sigma$에 대해 다항식인가?
• RQ2 실제 관찰과 일치하는 방식으로 $k$와 $d$에 독립적인 스무딩 실행 시간 상계를 도출할 수 있는가?
• RQ3 스무딩 분석 모델에서 기대 반복 수에 대한 가장 날카로운 상계는 무엇인가?
• RQ4 제곱 유클리드 거리 외의 일반적인 브레그만 발산으로 분석을 확장할 수 있는가?

주요 결과

• k-means의 스무딩 반복 수는 $O\left(\frac{n^{34}k^{34}d^{8}\ln^4(n)}{\sigma^6}\right)$ 이하로 유 bounds되며, 이는 $n$과 $1/\sigma$에 대해 다항식이다.
• 이 결과는 k-means가 가우시안 편미분 하에서 기대 다항 시간 내에 작동한다는 것을 보여주며, 오랫동안 열려있던 문제를 해결한다.
• 분석은 최악의 입력 조건에서도 무작위 편미분으로 효율적인 수렴이 이루어짐을 입증한다.
• 이 상계는 $d \geq 2$에 대해 성립하며, $d=1$의 경우는 이미 다항 스무딩 복잡도를 갖는 것으로 알려져 있다.
• 다항식의 지수는 크지만, 이 결과는 고차원에서 k-means에 대해 처음으로 다항 스무딩 복잡도를 확립한다.
• 이 방법은 각 반복에서 가능한 최소한의 잠재 함수 감소를 유 bounds하고, 세 단계의 시퀀스를 분석하여 최종 상계를 유도한다.