[논문 리뷰] A tight lower bound instance for k-means++ in constant dimension

Anup Bhattacharya, Ragesh Jaiswal외 1명|arXiv (Cornell University)|2014. 01. 13.

Data Management and Algorithms참고 문헌 13인용 수 4

한 줄 요약

이 논문은 k-means++ 시딩 알고리즘에 대해 낮은 차원에서의 성능을 분석하는 데 있어 열린 문제를 해결하는 2차원 데이터셋을 제시한다. 이 데이터셋은 알고리즘이 $ O("log k) $ 근사 비율을 확률적으로 매우 작은 값으로 달성함을 보여주며, 이는 $ k $ 에 대해 지수적으로 감소하는 확률임을 입증한다. 이 구성은 낮은 차원에서의 알고리즘 성능에 대한 기존의 열린 문제를 해결하며, 상수 차원에서도 k-means++가 높은 확률로 실패할 수 있음을 증명한다. 이는 기대값으로 $ O(\log k) $ 근사 보장을 갖는다는 점과는 대조된다.

ABSTRACT

The k-means++ seeding algorithm is one of the most popular algorithms that is used for finding the initial $k$ centers when using the k-means heuristic. The algorithm is a simple sampling procedure and can be described as follows: Pick the first center randomly from the given points. For $i > 1$, pick a point to be the $i^{th}$ center with probability proportional to the square of the Euclidean distance of this point to the closest previously $(i-1)$ chosen centers. The k-means++ seeding algorithm is not only simple and fast but also gives an $O(\log{k})$ approximation in expectation as shown by Arthur and Vassilvitskii. There are datasets on which this seeding algorithm gives an approximation factor of $Ω(\log{k})$ in expectation. However, it is not clear from these results if the algorithm achieves good approximation factor with reasonably high probability (say $1/poly(k)$). Brunsch and Röglin gave a dataset where the k-means++ seeding algorithm achieves an $O(\log{k})$ approximation ratio with probability that is exponentially small in $k$. However, this and all other known lower-bound examples are high dimensional. So, an open problem was to understand the behavior of the algorithm on low dimensional datasets. In this work, we give a simple two dimensional dataset on which the seeding algorithm achieves an $O(\log{k})$ approximation ratio with probability exponentially small in $k$. This solves open problems posed by Mahajan et al. and by Brunsch and Röglin.

연구 동기 및 목표

• 낮은 차원에서의 데이터셋에서 k-means++가 높은 확률로 열악한 근사 비율을 달성할 수 있는지 여부에 대한 열린 문제를 해결하기 위해.
• 특히 2차원에서 상수 차원에서 k-means++에 대한 날카운 하한값을 제공하기 위해.
• 기대값으로 $ O(\log k) $ 근사 보장이 있음에도 불구하고, 낮은 차원에서는 일정한 확률로 좋은 성능을 내지 못함을 보여주기 위해.
• Mahajan 등과 Brunsch 및 Röglin이 제기한 오랜 열린 질문, 즉 평면(2차원) 설정에서 k-means++의 행동에 대해 해결하기 위해.

제안 방법

• 최악의 행동을 시뮬레이션하기 위해 군집된 점들과 하나의 이방자(아웃라이어)를 포함한 정교하게 설계된 2차원 데이터셋을 구성하기 위해.
• k-means++ 시딩 과정을 마코프 체인 모델을 사용하여 분석하여, 먼 중심점을 선택할 확률을 추적하기 위해.
• Hoeffding의 부등식을 사용하여, $ k-1 $ 단계 이내에 좋은 중심점 집합을 선택하지 못할 꼬리 확률를 근사하기 위해.
• 좋은 구성에 도달하는 데 필요한 평균 단계 수의 하한을 설정하여, 이 값이 $ k $ 에 대해 다항식보다 빠르게 증가함을 보여주기 위해.
• 확률 집중 경계와 渐近적 분석을 활용하여, 성공 확률가 $ k $ 에 대해 지수적으로 감소함을 보여주기 위해.
• 알고리즘이 $ \delta \cdot \log k $ 이하의 근사 비율을 갖는 확률가 $ \exp(-(k-1)^{1-o(1)-120\delta}) $ 이하임을 증명하며, 이는 지수적으로 작은 확률임을 보여주기 위해.

실험 결과

연구 질문

• RQ1 낮은 차원에서의 데이터셋에서 k-means++가 기대값으로 $ O(\log k) $ 보장을 갖는다 해도, 높은 확률로 열악한 근사 비율을 달성할 수 있는가?
• RQ2 k-means++가 $ k $ 에 대해 지수적으로 작은 확률로 좋은 근사 비율을 달성하지 못하는 2차원 데이터셋이 존재하는가?
• RQ3 알고리즘의 성능이 상수 차원에서 심각하게 악화되는가, 즉 기대 근사 비율이 유한함에도 불구하고?
• RQ4 기존 문헌에서의 열린 문제를 해결하기 위해 2차원에서 k-means++에 대한 날카운 하한값을 구성할 수 있는가?
• RQ5 낮은 차원 공간에서 중심 수와 k-means++의 성공 확률 사이의 정확한 트레이드오프는 무엇인가?

주요 결과

• 논문은 k-means++가 $ O(\log k) $ 근사 비율을 확률적으로 최대 $ \exp(-(k-1)^{1-o(1)-120\delta}) $ 이하로 달성하는 2차원 데이터셋을 구성한다. 이는 $ k $ 에 대해 지수적으로 작은 확률이다.
• 이로써 Mahajan 등과 Brunsch 및 Röglin의 열린 문제를 해결하며, 상수 차원에서도 k-means++가 높은 확률로 실패할 수 있음을 보여준다.
• 실패 확률는 기대값을 넘어서 지수적으로 작은 성공 확률로 발생함을 보여주며, 강력한 하한값을 입증한다.
• 분석 결과 기대값으로 $ O(\log k) $ 근사 보장이 있더라도, 낮은 차원에서는 높은 확률로 성능이 보장되지 않음을 보여준다.
• 구성된 사례는 날카로우며, $ O(\log k) $ 근사 요소는 기대값으로 최선임을 보이고, 이와 동일한 실패 확률이 $ k $ 에 대해 지수적으로 감소함을 보여준다.
• 결과적으로, 이는 알고리즘의 낮은 차원에서의 성능이 고차원에서 관찰된 동일한 최악의 행동에 의해 본질적으로 제한됨을 증명한다. 그러나 이는 이제 2차원 설정에서 확인된다.