[논문 리뷰] Fully Scalable MPC Algorithms for Clustering in High Dimension

Artur Czumaj, Guichen Gao외 3명|arXiv (Cornell University)|2023. 07. 15.

Data Management and Algorithms인용 수 1

한 줄 요약

이 논문은 고차원 유클리드 공간에서 클러스터링을 위한 처음으로 완전히 확장 가능한 Massively Parallel Computation (MPC) 알고리즘을 제안하며, Facility Location, k-Median, k-Means 문제에 대해 O(1)-근사해를 O(1)라운드 내에 달성한다. 이 방법은 일관된 해싱 기반의 새로운 기하적 집계 원리를 활용하여 고차원에서 이웃 통계(예: 범위 카운팅, 최근접 이웃)를 효율적으로 계산할 수 있게 하며, 이로 인해 로컬 메모리 크기를 n^σ (모든 σ > 0에 대해)로도 충분히 작게 유지할 수 있다.

ABSTRACT

We design new parallel algorithms for clustering in high-dimensional Euclidean spaces. These algorithms run in the Massively Parallel Computation (MPC) model, and are fully scalable, meaning that the local memory in each machine may be $n^σ$ for arbitrarily small fixed $σ>0$. Importantly, the local memory may be substantially smaller than the number of clusters $k$, yet all our algorithms are fast, i.e., run in $O(1)$ rounds. We first devise a fast MPC algorithm for $O(1)$-approximation of uniform facility location. This is the first fully-scalable MPC algorithm that achieves $O(1)$-approximation for any clustering problem in general geometric setting; previous algorithms only provide $\mathrm{poly}(\log n)$-approximation or apply to restricted inputs, like low dimension or small number of clusters $k$; e.g. [Bhaskara and Wijewardena, ICML'18; Cohen-Addad et al., NeurIPS'21; Cohen-Addad et al., ICML'22]. We then build on this facility location result and devise a fast MPC algorithm that achieves $O(1)$-bicriteria approximation for $k$-Median and for $k$-Means, namely, it computes $(1+\varepsilon)k$ clusters of cost within $O(1/\varepsilon^2)$-factor of the optimum for $k$ clusters. A primary technical tool that we introduce, and may be of independent interest, is a new MPC primitive for geometric aggregation, namely, computing for every data point a statistic of its approximate neighborhood, for statistics like range counting and nearest-neighbor search. Our implementation of this primitive works in high dimension, and is based on consistent hashing (aka sparse partition), a technique that was recently used for streaming algorithms [Czumaj et al., FOCS'22].

연구 동기 및 목표

• 로컬 메모리 크기가 모든 σ > 0에 대해 n^σ인 고차원 유클리드 공간에서의 클러스터링을 위한 완전히 확장 가능한 MPC 알고리즘을 설계하는 것.
• MPC 모델에서 O(1)라운드 내에 Facility Location, k-Median, k-Means 문제에 대해 O(1)-근사해를 달성하는 것.
• 이전 연구에서 요구한 다항로그(n) 근사해 또는 저차원, 작은 k 등의 제한된 입력 설정과 같은 한계를 극복하는 것.
• 고차원에서의 근사 이웃 통계를 위한 새로운 기하적 집계 원리를 도입하여 효율적인 MPC 계산을 가능하게 하는 것.

제안 방법

• 일관된 해싱(희소 분할)을 사용하여 근사 이웃 통계(예: 범위 카운팅, 최근접 이웃)를 계산하는 새로운 MPC 원리를 도입한다.
• 편향된 가중치와 이중 단계 선택 규칙을 적용한다: (C1) 확률 µ/γ로 점들을 확률적으로 선택하고, (C2) 국소 이웃 내에서 가중치가 가장 높은 점을 선택한다.
• 2의 거듭제곱을 사용한 반지름 기반 분할과 함께, 가중치 및 반지름을 2의 거듭제곱으로 설정하여, 기하적 집계를 위한 정리 3.1을 통해 효율적인 병렬 평가를 가능하게 한다.
• 최적 비용 OPT_cl^z의 반복적 추측을 2의 거듭제곱을 사용해 수행하며, 최대 (1 + 3μ)k개의 중심을 사용해 가장 저렴한 해를 반환한다.
• 약한 코어셋 구축과 MPC 호환 구현을 조합하여, 정리 3.1을 활용해 O(1)라운드 내에 중심 선택 조건을 검증한다.
• 성공 확률을 높이기 위해 O(log n)개의 병렬 실행을 통해 성공 확률을 높인다.

실험 결과

연구 질문

• RQ1 로컬 메모리 크기가 모든 σ > 0에 대해 n^σ이고 O(1)라운드 내에, Facility Location 문제에 대해 O(1)-근사해를 달성할 수 있는가?
• RQ2 Facility Location 알고리즘을 고차원 공간에서 k-Median 및 k-Means 문제에 대해 O(1)-이중근사해로 확장할 수 있는가?
• RQ3 비선형 로컬 메모리 조건 하에서 고차원에서 효율적인 이웃 질의를 지원하는 기하적 집계 원리를 설계할 수 있는가?
• RQ4 일관된 해싱을 효과적으로 MPC에 적용하여 고차원 클러스터링에 대해 증명 가능한 근사 보장을 갖는 알고리즘으로 변환할 수 있는가?
• RQ5 고차원에서 O(1)-라운드, O(1)-근사해 알고리즘을 구현하기 위해 필요한 최소 로컬 메모리 크기(n^σ)는 얼마인가?

주요 결과

• 논문은 일반적인 기하 설정에서 Facility Location 문제에 대해 O(1)-근사해를 달성하는 최초의 완전히 확장 가능한 MPC 알고리즘을 제시하며, O(1)라운드 및 로컬 메모리 크기 n^σ (모든 σ > 0에 대해)를 확보한다.
• k-Median 및 k-Means 문제에 대해 O(1)-이중근사해를 달성한다: (1 + ε)k개의 중심을 사용하며, 비용은 최적의 k-중심 비용의 O(1/ε²) 이내이다.
• 제안된 기하적 집계 원리는 일관된 해싱을 활용하여 고차원에서 이웃 통계(예: 범위 카운팅, 최근접 이웃)를 효율적으로 계산할 수 있도록 한다.
• O(log n)개의 병렬 실행 이후, 기대 클러스터링 비용은 O(2^z · β^z · γ^3 · OPT_cl^z / μ²) 이내로 유한 확률로 유계이다.
• 성공 확률을 1 - 1/poly(n) 수준으로 높이기 위해 핵심 절차를 O(log n)번의 병렬 실행으로 반복한다.
• MPC 구현은 O(1)라운드 내에 수행되며 총 공간 복잡도는 O(n)이며 로컬 메모리 크기는 n^σ이다. 이는 고차원 클러스터링 문제에 대해 최초로 완전히 확장 가능한 O(1)-라운드 해법을 달성한다.