[논문 리뷰] Coresets for $k$-Means and $k$-Median Clustering and their Applications

Sariel Har-Peled, Soham Mazumdar|arXiv (Cornell University)|2018. 10. 30.

Complexity and Algorithms in Graphs참고 문헌 25인용 수 95

한 줄 요약

이 논문은 저차원에서 k-means 및 k-median 클러스터링을 위한 작은 코어셋의 존재를 증명하고 이를 구성하는 효율적인 알고리즘을 제시하여, 향상된 실행 시간과 스트리밍 지원으로 (1+ε)-근사화를 가능하게 한다.

ABSTRACT

$ enewcommand{\Re}{{ m I\!\hspace{-0.025em} R}} ewcommand{\eps}{\varepsilon} ewcommand{\Coreset}{\mathcal{S}} $ In this paper, we show the existence of small coresets for the problems of computing $k$-median and $k$-means clustering for points in low dimension. In other words, we show that given a point set $P$ in $\Re^d$, one can compute a weighted set $\Coreset \subseteq P$, of size $O(k \eps^{-d} \log{n})$, such that one can compute the $k$-median/means clustering on $\Coreset$ instead of on $P$, and get an $(1+\eps)$-approximation. As a result, we improve the fastest known algorithms for $(1+\eps)$-approximate $k$-means and $k$-median clustering. Our algorithms have linear running time for a fixed $k$ and $\eps$. In addition, we can maintain the $(1+\eps)$-approximate $k$-median or $k$-means clustering of a stream when points are being only inserted, using polylogarithmic space and update time.

연구 동기 및 목표

• 저차원 공간에서의 클러스터링의 동기를 설명하고 더 빠른 근사 방법의 필요성을 제시한다.
• (k, ε)-코어셋이 존재하며 클러스터링 비용을 (1±ε) 요인 내에서 보존한다
• 코어셋 구성 및 이를 이용한 클러스터링을 증명 가능한 보장과 함께 수행하는 빠른 알고리즘을 개발한다.
• 데이터 스트림에 프레임워크를 확장하여 다항로그 공간과 업데이트 시간으로 코어셋을 유지한다.

제안 방법

• (k, ε)-코어셋을 k-median 및 k-means에 도입: 임의의 k-center 집합에 대해 (1±ε) 내에서 클러스터링 비용을 보존하는 가중치를 가진 부분집합.
• 근사치를 유도하는 근사적으로 최적에 가까운 중심 집합을 얻기 위한 선형 시간 구성 방법을 제공한다.
• 근사 중심으로부터 (k, ε)-코어셋을 구성하고 알려진 알고리즘의 가중치 버전을 사용하여 코어셋에서 클러스터링을 수행한다.
• k보다 많은 중심을 출력하는 빠른 상수근사 알고리즘을 개발하여 (O(k log^3 n))의 중심을 생성하고 k-means 및 k-median을 근사한다.
• 코어셋을 이용하여 중심집합(centroid-set) 접근 및 로컬 탐색 개선을 통해 k-median 및 k-means에 대해 (1+ε)-근사를 도출한다.
• 데이터 스트림에 프레임워크를 확장하여 O(k ε^{-d} log n) 크기의 코어셋을 다항로그 업데이트 시간으로 유지한다.

실험 결과

연구 질문

• RQ1 저차원에서 (k, ε)-코어셋이 존재하여 (1+ε)-근사해를 얻을 수 있는가?
• RQ2 특히 고정된 k 및 ε에 대해 코어셋의 크기와 구성 및 사용 시간 복잡도는 어느가?
• RQ3 삽입 전용 업데이트가 있는 스트리밍 모델에서 코어셋을 어떻게 유지할 수 있는가?
• RQ4 코어셋에서의 촘촘한 (1+ε)-근사를 위한 시드를 위해 k보다 더 많은 중심을 사용하여 빠른 상수근사를 달성할 수 있는가?
• RQ5 실용적인 (1+ε)-근사 보장을 얻기 위해 이산적 (k, ε)-근사와 centroid 집합을 어떻게 결합할 수 있는가?

주요 결과

• Re^d에서 k-means 및 k-median에 대해 (k, ε)-코어셋의 크기가 O((k/ε^{d}) log n) 이다.
• 가중 중심으로 코어셋에서 클러스터링하여 (1+ε)-근사를 가능하게 한다.
• 빠른 상수근사 알고리즘은 O(k log^3 n) 개의 중심을 출력하여 k-means 및 k-median을 근사한다.
• 스트리밍 알고리즘은 크기 O(k ε^{-d} log n)의 (k, ε)-코어셋을 다항로그 업데이트 시간으로 유지한다.
• centroid-set 기반 후처리는 중심을 O(k^2 ε^{-2d} log^2 n) 크기의 작은 후보 집합으로 제한하여 (1+ε)-근사를 제공한다.
• 이 방법들은 실행 시간의 n을 k 및 1/ε에 연관된 지수 상수로부터 분리하여 실제 효율성을 향상시킨다.