[논문 리뷰] Noisy, Greedy and Not So Greedy k-means++

Anup Bhattacharya, Jan Eube외 2명|arXiv (Cornell University)|2019. 12. 02.

Machine Learning and Algorithms참고 문헌 21인용 수 5

한 줄 요약

이 논문은 k-means++ 알고리즘의 탐욕적 및 노이즈 있는 변종을 분석하여, 탐욕적 k-means++가 각 반복에서 샘플링된 후보자 ℓ명을 기반으로 비용을 최소화하는 선택을 할 경우, 기대값에서 Ω(ℓ·log k)-근사값으로 악화될 수 있음을 증명한다. 반면, D²-샘플링 확률에 곱셈적 요인에 의해 흐트러진 노이즈 있는 k-means++는 기대값에서 O(log²k)-근사값을 달성하여 입력 노이즈에 대한 강건성을 보여준다.

ABSTRACT

The k-means++ algorithm due to Arthur and Vassilvitskii has become the most popular seeding method for Lloyd's algorithm. It samples the first center uniformly at random from the data set and the other $k-1$ centers iteratively according to $D^2$-sampling where the probability that a data point becomes the next center is proportional to its squared distance to the closest center chosen so far. k-means++ is known to achieve an approximation factor of $O(\log k)$ in expectation. Already in the original paper on k-means++, Arthur and Vassilvitskii suggested a variation called greedy k-means++ algorithm in which in each iteration multiple possible centers are sampled according to $D^2$-sampling and only the one that decreases the objective the most is chosen as a center for that iteration. It is stated as an open question whether this also leads to an $O(\log k)$-approximation (or even better). We show that this is not the case by presenting a family of instances on which greedy k-means++ yields only an $Ω(\ell\cdot \log k)$-approximation in expectation where $\ell$ is the number of possible centers that are sampled in each iteration. We also study a variation, which we call noisy k-means++ algorithm. In this variation only one center is sampled in every iteration but not exactly by $D^2$-sampling anymore. Instead in each iteration an adversary is allowed to change the probabilities arising from $D^2$-sampling individually for each point by a factor between $1-ε_1$ and $1+ε_2$ for parameters $ε_1 \in [0,1)$ and $ε_2 \ge 0$. We prove that noisy k-means++ compute an $O(\log^2 k)$-approximation in expectation. We also discuss some applications of this result.

연구 동기 및 목표

• 탐욕적 k-means++의 이론적 성능 분석을 목적으로 하며, 이는 각 반복에서 다수의 후보를 샘플링하고 비용을 최소화하는 후보를 선택하는 k-means++의 변종이다.
• 기본 k-means++가 보장하는 O(log k)-근사값이 탐욕적 k-means++에서도 유지되는지 조사한다.
• D²-샘플링 확률에 적대적 흐트러짐이 가해진 경우 k-means++의 강건성에 대해 연구하며, 노이즈 있는 k-means++ 알고리즘을 도입하여 D²-샘플링 확률을 곱셈적 요인으로 흐트러뜨린다.
• D²-샘플링 확률에 대한 유한한 곱셈적 흐트러짐 하에서 노이즈 있는 k-means++의 이론적 근사 경계를 수립한다.
• 최악의 경우에서 탐욕적 k-means++가 성능을 떨어뜨리는 상황가운데서도, 클러스터 가능성 가정 하에서 성능 향상 가능성을 탐색한다.

제안 방법

• D²-샘플링을 사용해 각 반복에서 ℓ명의 후보를 샘플링하고, k-means 비용을 가장 줄이는 후보를 선택하는 탐욕적 k-means++ 변종을 제안한다.
• 탐욕적 k-means++가 기대값에서 오직 Ω(ℓ·log k)-근사값에만 도달할 수 있음을 증명하기 위해 최악의 경우 인스턴스 가족을 구성한다.
• 각 점의 D²-샘플링 확률이 [1−ε₁, 1+ε₂] 범위의 요인으로 흐트러지는 노이즈 있는 k-means++를 도입하여 계산적 또는 구현 노이즈를 모델링한다.
• 확률적 쌍용 논증을 사용하여 노이즈 있는 k-means++의 기대 비용을 오차 항이 유한한 알려진 확률 과정과 연결함으로써 경계를 설정한다.
• 농도 결과(Corollary 12)를 적용하여 노이즈 있는 k-means++의 기대 비용이 최적 비용의 O(log²k) 배 이내로 제한됨을 보여준다.
• 고정된 선택 확률 p를 사용해 표준 D²-샘플링과 탐욕적 선택을 조합한 하이브리드 변종인 중간 탐욕적 k-means++를 분석하고, 그 기대 근사 비율을 유도한다.

실험 결과

연구 질문

• RQ1 각 반복에서 ℓ명의 후보를 샘플링하고 가장 좋은 것을 선택하는 탐욕적 k-means++ 알고리즘이 기본 k-means++의 O(log k)-근사 보장을 유지하는가?
• RQ2 D²-샘플링 확률이 곱셈적 요인에 의해 흐트러진 노이즈 있는 k-means++는 여전히 기대값에서 다항 로그 근사값을 달성할 수 있는가?
• RQ3 최악의 경우에서 탐욕적 k-means++와 기본 k-means++ 사이에 이론적 성능 격차가 존재하는가?
• RQ4 노이즈 있는 k-means++ 분석에서 근사 경계에 추가적인 O(log k) 요소를 제거할 수 있는가?
• RQ5 클러스터 가능성 가정 하에서 탐욕적 k-means++는 기본 k-means++를 초월할 수 있는가, 비록 최악의 경우에서 성능 저하가 발생하더라도?

주요 결과

• 탐욕적 k-means++는 기대값에서 오직 Ω(ℓ·log k)-근사값에만 도달할 수 있으며, 이는 ℓ를 늘려도 최악의 경우 성능 향상이 이루어지지 않으며 오히려 악화될 수 있음을 시사한다.
• 최악의 경우로 구성된 인스턴스는 분리 가능성과 근사 안정성과 같은 일반적인 클러스터 가능성 가정을 충족하며, 실패 원인이 데이터의 구조적 열악함 때문이 아님을 나타낸다.
• D²-샘플링 확률이 [1−ε₁, 1+ε₂] 범위의 요인으로 흐트러질 경우, 노이즈 있는 k-means++는 기대값에서 O(log²k)-근사값을 달성하여 노이즈에 대한 강건성을 보여준다.
• 노이즈 있는 k-means++의 근사 보장은 흐트러짐 매개변수 ε₁과 ε₂에 의존하며, 이 경계는 O((ε₁+ε₂)(1+ε₂)/(1−ε₁)²) × log²k 비례로 스케일링된다.
• 하이브리드 변종인 중간 탐욕적 k-means++는 선택 확률 p가 일정할 경우 기대값에서 O(ℓ³·log²k)-근사값을 달성하며, 탐욕성과 강건성 사이의 트레이드오프를 보여준다.
• 저자들은 노이즈 있는 k-means++ 분석에서 O(log k) 요소가 불필요하다고 추측하며, 기대 비용이 ε에만 의존하는 상수로 경계될 수 있을 것이라 제안한다.