[논문 리뷰] An Algorithm for Online K-Means Clustering

Edo Liberty, Ram Sriharsha외 1명|arXiv (Cornell University)|2014. 12. 18.

Optimization and Search Problems참고 문헌 12인용 수 5

한 줄 요약

이 논문은 실시간으로 들어오는 데이터 포인트를 클러스터에 할당하는 온라인 k-means 클러스터링 알고리즘을 제시한다. 이 알고리즘은 최적의 k-means 비용과 경쟁 가능한 근사 비율을 유지한다. 알고리즘은 Õ(k)개의 클러스터를 생성하며, 목적 함수 값은 Õ(W*)이다. 여기서 W*는 최적의 k-means 비용을 의미한다. 이는 데이터 스트림에 대한 사전 지식이 없고 더 엄격한 온라인 제약 조건을 갖는 바에 불구하고, k-means++에 비해 거의 동일한 성능을 보인다.

ABSTRACT

This paper shows that one can be competitive with the k-means objective while operating online. In this model, the algorithm receives vectors v_1,...,v_n one by one in an arbitrary order. For each vector the algorithm outputs a cluster identifier before receiving the next one. Our online algorithm generates ~O(k) clusters whose k-means cost is ~O(W*). Here, W* is the optimal k-means cost using k clusters and ~O suppresses poly-logarithmic factors. We also show that, experimentally, it is not much worse than k-means++ while operating in a strictly more constrained computational model.

연구 동기 및 목표

• 이전 데이터 포인트를 다시 볼 필요 없이, 순차적으로 데이터 포인트에 클러스터 레이블을 할당하는 온라인 k-means 클러스터링 알고리즘을 설계하는 것.
• 최적의 k-means 비용 W*와 경쟁 가능한 근사 비율을 확보하면서도, 각 포인트당 다항로그 시간과 공간만을 사용하는 것.
• k-means++와 같은 오프라인 알고리즘은 여러 번의 스캔이 가능하지만, 본 알고리즘은 엄격한 온라인 모델에서 작동함에도 불구하고, 그 성능에 거의 근접함을 보여주는 것.
• 데이터 스트림이나 최적 비용에 대한 사전 지식이 없더라도, 생성된 클러스터 수가 k에 가까운지 보여주는 것.

제안 방법

• 알고리즘은 임의의 순서로 데이터 포인트를 한 개씩 처리하며, 확률적 기준에 따라 기존 클러스터에 할당하거나 새로운 클러스터를 개설한다.
• 최적 비용 W*의 하한 w*와 스트림 길이 n의 추정치를 가정하는 반온라인 버전을 사용하여 클러스터 수를 제어한다.
• 알고리즘은 예상 클러스터 수가 O(k log n log(W*/w*))이고, 예상 목적 함수 비용이 O(W*)가 되도록 보장한다.
• 완전히 온라인 설정(사전 지식 없음)에서는, approximation 요소가 log n 요소만큼 악화되는 수정된 전략을 사용한다.
• 클러스터 품질과 클러스터 수의 균형을 맞추는 중심 선택 메커니즘을 활용하며, 할당된 중심으로부터의 제곱 거리 합을 최소화한다.
• 이론적 분석을 통해, 데이터 순서가 적대적일 경우에도 최적 해와 경쟁 가능한 성능을 보임을 증명한다.

실험 결과

연구 질문

• RQ1 온라인 k-means 알고리즘이 최적의 k-means 비용 W*에 대해 상수 또는 다항로그 근사 비율을 달성할 수 있는가?
• RQ2 알고리즘은 예상적으로 몇 개의 클러스터를 생성하며, 이는 목표 k와 데이터 특성과 어떻게 관련되는가?
• RQ3 k-means++는 오프라인이며 다중 스캔이 가능하지만, 온라인 알고리즘의 클러스터링 비용은 어떻게 비교되는가?
• RQ4 W* 또는 n에 대한 사전 지식이 없을 경우 알고리즘의 성능은 얼마나 떨어지는가?
• RQ5 다양한 데이터셋과 k 값에서 실제 클러스터 수와 목표 클러스터 수의 비율이 안정적인가?

주요 결과

• 반온라인 설정에서는 예상 클러스터 수가 O(k log n log(W*/w*))이며, 예상 목적 함수 비용이 O(W*)이다.
• 완전히 온라인 설정에서는 반온라인 버전과 유사한 수준의 클러스터 수를 생성하지만, approximation 요소가 log n 요소만큼 악화된다.
• 실험적으로 실제 클러스터 수 대비 목표 클러스터 수의 비율(k_actual / k_target)은 다양한 데이터셋과 k 값에서 거의 일정하고 1에 가깝게 유지된다.
• 온라인 알고리즘의 비용 f_online은 k_target이 증가함에 따라 단조 감소하며, 더 많은 클러스터를 允가할수록 일관되게 향상됨을 보였다.
• 각 데이터셋에서 k_target 값에 관계없이 f_online / f_random 비율은 거의 일정하게 유지되며, 이는 온라인 클러스터링이 랜덤 중심 선택과 비슷한 속도로 향상됨을 시사한다.
• k-means++와 비교해 볼 때, 온라인 알고리즘은 대부분의 데이터셋에서 작은 상수 요소의 성능 저하만을 보이며, 랜덤 클러스터링보다 훨씬 우수한 성능을 보였다.