[논문 리뷰] On Sampling Based Algorithms for k-Means

Goyal, Dishant, Dishant Goyal외 1명|arXiv (Cornell University)|2019. 09. 16.

Complexity and Algorithms in Graphs참고 문헌 29인용 수 2

한 줄 요약

이 논문은 리스트-k-균류 문제를 위한 단일 반복 D2-샘플링 기반 알고리즘을 제시하며, 스트리밍 처리, 안정성 하에서의 빠른 PTAS, 그리고 효율적인 병렬 계산을 가능하게 하여 이전 연구에 비해 크게 향상시킨다. 이 방법은 임의의 t ≤ k 클러스터에 대해 (k/ε)^O(t/ε)개의 t-센터 세트로 이루어진 리스트를 생성하며, 높은 확률로 최소한 하나는 (1+ε)-근사값을 확보한다. 이를 통해 제약 조건이 있는 k-균류 문제에 대해 4단계 로그스페이스 스트리밍 PTAS를 실현하고, 더 빠른 병렬 및 안정된 군집화 알고리즘을 가능하게 한다.

ABSTRACT

We generalise the results of Bhattacharya et al. [Bhattacharya et al., 2018] for the list-k-means problem defined as - for a (unknown) partition X₁, ..., X_k of the dataset X ⊆ ℝ^d, find a list of k-center-sets (each element in the list is a set of k centers) such that at least one of k-center-sets {c₁, ..., c_k} in the list gives an (1+ε)-approximation with respect to the cost function min_{permutation π} [∑_{i = 1}^{k} ∑_{x ∈ X_i} ||x - c_{π(i)}||²]. The list-k-means problem is important for the constrained k-means problem since algorithms for the former can be converted to {PTAS} for various versions of the latter. The algorithm for the list-k-means problem by Bhattacharya et al. is a D²-sampling based algorithm that runs in k iterations. Making use of a constant factor solution for the (classical or unconstrained) k-means problem, we generalise the algorithm of Bhattacharya et al. in two ways - (i) for any fixed set X_{j₁}, ..., X_{j_t} of t ≤ k clusters, the algorithm produces a list of (k/(ε))^{O(t/(ε))} t-center sets such that (w.h.p.) at least one of them is good for X_{j₁}, ..., X_{j_t}, and (ii) the algorithm runs in a single iteration. Following are the consequences of our generalisations: 1) Faster PTAS under stability and a parameterised reduction: Property (i) of our generalisation is useful in scenarios where finding good centers becomes easier once good centers for a few "bad" clusters have been chosen. One such case is clustering under stability of Awasthi et al. [Awasthi et al., 2010] where the number of such bad clusters is a constant. Using property (i), we significantly improve the running time of their algorithm from O(dn³) (k log{n})^{poly(1/(β), 1/(ε))} to O (dn³ (k/(ε)) ^{O(1/βε²)}). Another application is a parameterised reduction from the outlier version of k-means to the classical one where the bad clusters are the outliers. 2) Streaming algorithms: The sampling algorithm running in a single iteration (i.e., property (ii)) allows us to design a constant-pass, logspace streaming algorithm for the list-k-means problem. This can be converted to a constant-pass, logspace streaming PTAS for various constrained versions of the k-means problem. In particular, this gives a 3-pass, polylog-space streaming PTAS for the constrained binary k-means problem which in turn gives a 4-pass, polylog-space streaming PTAS for the generalised binary 𝓁₀-rank-r approximation problem. This is the first constant pass, polylog-space streaming algorithm for either of the two problems. Coreset based techniques, which is another approach for designing streaming algorithms in general, is not known to work for the constrained binary k-means problem to the best of our knowledge.

연구 동기 및 목표

• 반복적 개선을 피하는 더 효율적인 샘플링 기반 알고리즘을 리스트-k-균류 문제에 대해 개발하기.
• 제약 조건이 있는 k-균류 문제에 대해 4단계, 로그스페이스 스트리밍 PTAS를 실현하기.
• β-분포된 인스턴스와 같은 안정성 조건 하에서 빠른 PTAS를 가속화하기.
• 순차적 k-반복 블로킹 요소를 제거하여 빠른 병렬 계산을 지원하기.
• 스트리밍, 병렬, 안정된 군집화 환경을 포함한 다양한 계산 모델로 D2-샘플링 프레임워크를 일반화하기.

제안 방법

• 임의의 고정된 t ≤ k 클러스터에 대해 (k/ε)^O(t/ε)개의 t-센터 세트로 이루어진 리스트를 생성하는 단일 반복 D2-샘플링 알고리즘을 제안한다.
• 다양한 환경에서 동일한 균일 샘플링 템플릿을 사용하며, 알고리즘 변경 대신 맥락에 맞게 분석을 조정한다.
• 상수 요소 근사값을 입력으로 받아 샘플링 기반 리스트 생성을 통해 (1+ε)-근사값을 부트스트랩한다.
• 리스트 생성 프레임워크를 적용하여 리스트-k-균류 문제에 대해 2단계 스트리밍 알고리즘을 설계하고, 제약 조건이 있는 k-균류 문제에 대해 4단계 스트리밍 PTAS를 실현한다.
• 안정성 하의 군집화(예: β-분포된 인스턴스)에 이 방법을 적응시켜, 실행 시간을 O(dn³(k log n)^poly(1/β,1/ε))에서 O(dn³(k/ε)^O(1/βε²))로 감소시킨다.
• CREW 모델에서 순차적 k-반복 단계를 단일 병렬화 가능한 샘플링 단계로 대체함으로써, 빠른 병렬 PTAS를 실현한다.

실험 결과

연구 질문

• RQ1 리스트-k-균류 문제에 대해 다중 반복 D2-샘플링 접근 방식을 대체할 수 있는 단일 반복 샘플링 알고리즘이 근사 보장 조건을 유지할 수 있는가?
• RQ2 리스트-k-균류 프레임워크를 제약 조건이 있는 k-균류 문제의 스트리밍 및 로그스페이스 계산을 지원하도록 확장할 수 있는가?
• RQ3 단일 반복 접근 방식이 β-분포된 인스턴스와 같은 안정성 가정 하에서 더 빠른 PTAS를 가능하게 하는가?
• RQ4 반복 구조 내 순차적 의존성을 제거함으로써 알고리즘을 고도로 병렬화할 수 있는가?
• RQ5 이 프레임워크는 연구된 바깥의 다른 제약 조건이 있는 군집화 변형으로도 일반화할 수 있는가?

주요 결과

• 제안된 알고리즘은 단일 반복으로 실행되며, 임의의 고정된 t ≤ k 클러스터에 대해 (k/ε)^O(t/ε)개의 t-센터 세트로 이루어진 리스트를 생성한다. 이 리스트에서는 높은 확률로 최소한 하나의 세트가 (1+ε)-근사값을 확보한다.
• 리스트-k-균류 문제에 대해 2단계, 로그스페이스 스트리밍 알고리즘을 달성하였으며, 이는 다양한 제약 조건이 있는 k-균류 문제에 대해 4단계, 로그스페이스 스트리밍 PTAS를 실현한다.
• β-분포된 k-균류 인스턴스의 경우, 실행 시간이 O(dn³(k log n)^poly(1/β,1/ε))에서 O(dn³(k/ε)^O(1/βε²))로 감소하여 효율성이 크게 향상된다.
• CREW 모델에서 N 프로세서를 사용할 경우, O(poly(nε,k,d,1/ε) · n^{1−ε}/N) 시간 내에 빠른 병렬 PTAS를 실현할 수 있다.
• 프레임워크는 스트리밍, 병렬, 안정된 군집화 환경 전반에 걸쳐 D2-샘플링 접근 방식을 균일하게 일반화하며, 알고리즘의 단순성과 분석 복잡성 간의 분리가 가능하다.
• 이 방법은 동일한 샘플링 템플릿과 맥락에 맞는 분석만으로도 다양한 계산 모델과 문제 변형을 지원할 수 있음을 입증한다.