[논문 리뷰] Coresets for Clustering in Euclidean Spaces: Importance Sampling is Nearly Optimal

Lingxiao Huang, Nisheeth K. Vishnoi|arXiv (Cornell University)|2020. 04. 14.

Sparse and Compressive Sensing Techniques참고 문헌 33인용 수 5

한 줄 요약

이 논문은 유클리드 공간에서 $(k,z)$-클러스터링을 위한 $\varepsilon$-코어셋을 구성하는 통합된 이단계 중요도 샘플링 프레임워크를 제안한다. 이 프레임워크는 코어셋 크기와 구성 효율성을 향상시킨다. $k$-메디안의 경우 $\tilde{O}(\varepsilon^{-4}k)$의 코어셋 크기를 달성하며, 이는 이전 작업 대비 $k$-요소를 절감하고 $k/\varepsilon$에 대한 지수적 의존도를 피한다. 동시에 $\Omega(k \cdot \min\{2^{z/20}, d\})$에 가까운 하한을 확립한다. 프레임워크는 하위공간 근사와 클러스터링을 연결하는 새로운 차원 감소 기법을 활용하여 일반적인 $z \geq 1$에 대해 거의 최적의 코어셋 구성이 가능하게 한다. 핵심 기여는 크기 최적화와 효율성을 동시에 확보한 코어셋 구성으로, $k$에 대한 선형 의존도와 $d$에 대한 의존도 없이 $k$-메디안 및 $k$-메이너스에 대해 작동한다.

ABSTRACT

Given a collection of $n$ points in $\mathbb{R}^d$, the goal of the $(k,z)$-clustering problem is to find a subset of $k$ "centers" that minimizes the sum of the $z$-th powers of the Euclidean distance of each point to the closest center. Special cases of the $(k,z)$-clustering problem include the $k$-median and $k$-means problems. Our main result is a unified two-stage importance sampling framework that constructs an $\varepsilon$-coreset for the $(k,z)$-clustering problem. Compared to the results for $(k,z)$-clustering in [Feldman and Langberg, STOC 2011], our framework saves a $\varepsilon^2 d$ factor in the coreset size. Compared to the results for $(k,z)$-clustering in [Sohler and Woodruff, FOCS 2018], our framework saves a $\operatorname{poly}(k)$ factor in the coreset size and avoids the $\exp(k/\varepsilon)$ term in the construction time. Specifically, our coreset for $k$-median ($z=1$) has size $ ilde{O}(\varepsilon^{-4} k)$ which, when compared to the result in [Sohler and Woodruff, STOC 2018], saves a $k$ factor in the coreset size. Our algorithmic results rely on a new dimensionality reduction technique that connects two well-known shape fitting problems: subspace approximation and clustering, and may be of independent interest. We also provide a size lower bound of $Ω\left(k\cdot \min \left\{2^{z/20},d ight\} ight)$ for a $0.01$-coreset for $(k,z)$-clustering, which has a linear dependence of size on $k$ and an exponential dependence on $z$ that matches our algorithmic results.

연구 동기 및 목표

• 유클리드 공간 $\mathbb{R}^d$에서 $\varepsilon$-코어셋을 구성하기 위한 통합적이고 효율적인 프레임워크를 개발한다. 이는 $k$에 대한 선형 의존도와 $d$에 대한 의존도 없이 작동한다.
• 이전의 코어셋 구성 방식을 개선하여, [18]에 비해 $\varepsilon^2 d$ 요소를 줄이고, [33]에 비해 $\operatorname{poly}(k)$ 요소를 줄이며, $\exp(k/\varepsilon)$의 구성 시간을 피한다.
• 코어셋 크기에 대해 거의 매칭되는 하한을 확립하여, $k$와 $z$에 대한 의존도가 날카롭게 조밀하다는 것을 보여준다.
• 하위공간 근사와 클러스터링을 연결하는 새로운 차원 감소 기법을 도입하며, 이는 별도의 관심사로도 여겨질 수 있다.

제안 방법

• 이중 단계 중요도 샘플링 프레임워크를 제안한다: 첫째, 클러스터링 비용에 기여하는 바에 따라 점들을 샘플링한다. 둘째, 임의의 $k$-센터 세트의 거리를 유지하기 위해 터미널 임베딩을 사용해 샘플을 정밀 조정한다.
• 하위공간 근사와 클러스터링을 터미널 임베딩을 통해 연결하는 새로운 기하 기법을 도입하여, 코어셋의 정밀도를 잃지 않고 차원을 감소시킬 수 있도록 한다.
• 존슨–린든스트라우스 유형의 변환을 사용하여 점들을 낮은 차원 공간으로 투영하면서, 임의의 센터 세트에 대해 $k$-메디안 비용을 $1\pm\varepsilon$ 범위 내로 유지한다.
• 펠드만-랑베르그 프레임워크를 활용해 중요도 샘플링을 수행하여, $k$-메디안에 대해 $\tilde{O}(\varepsilon^{-4}k)$ 크기의 코어셋을 구성한다. 이는 이전의 $\tilde{O}(\varepsilon^{-4}k^2)$ bound를 향상시킨다.
• 코어셋 크기가 거의 최적임을 증명하기 위해, $0.01$-코어셋에 대해 $\Omega(k \cdot \min\{2^{z/20}, d\})$의 하한을 확립한다.
• 정교화된 삼각 부등식 논증을 사용해, 거리의 미세한 변화가 비용에 작은 변화를 유도한다는 점을 분석하여 코어셋의 안정성을 분석한다.

실험 결과

연구 질문

• RQ1 선형 의존도와 $d$에 대한 의존도 없이 $k$에 대해 선형 의존도를 가지며, $\varepsilon$-코어셋을 구성할 수 있는 통합 프레임워크를 설계할 수 있는가?
• RQ2 이전 연구에서 나타난 $\varepsilon^2 d$ 요소를 제거하고, [33]에서 나타난 $\operatorname{poly}(k)$ 및 $\exp(k/\varepsilon)$ 요소를 제거함으로써 코어셋 크기를 개선할 수 있는가?
• RQ3 $k$-메디안에 대해 $\tilde{O}(\varepsilon^{-4}k)$의 코어셋 크기가 로그 인자 수준에서 최적인가?
• RQ4 모든 $k$-센터 세트에 대해 클러스터링 비용을 유지하면서 차원을 감소시키는 새로운 차원 감소 기법을 개발할 수 있는가?
• RQ5 $(k,z)$-클러스터링을 위한 $\varepsilon$-코어셋의 이론적 하한은 무엇이며, 알고리즘적 구성과 일치하는가?

주요 결과

• 제안된 이단계 중요도 샘플링 프레임워크는 $(k,z)$-클러스터링에 대해 $\tilde{O}(\min\{\varepsilon^{-2z-2}k, 2^{2z}\varepsilon^{-4}k^2\})$ 크기의 $\varepsilon$-코어셋을 구성하며, 이는 이전 작업보다 향상된 결과를 낳는다.
• $k$-메디안($z=1$)의 경우 코어셋 크기는 $\tilde{O}(\varepsilon^{-4}k)$이며, 이는 [33]에서의 $\tilde{O}(\varepsilon^{-4}k^2)$ bound 대비 $k$-요소를 절감한다.
• 프레임워크는 [33]에서 나타난 $\exp(k/\varepsilon)$의 구성 시간을 피함으로써, 큰 $k$에 대해 더 효율적이다.
• 논문은 $0.01$-코어셋에 대해 $\Omega(k \cdot \min\{2^{z/20}, d\})$의 하한을 확립하여, $\varepsilon^{-4}$에 대한 의존도와 $z$에 대한 지수적 의존도가 거의 날카롭게 조밀하다는 것을 보여준다.
• 하위공간 근사와 클러스터링을 연결하는 새로운 차원 감소 기법은 효과적이며, 다른 기하 문제에서 별도의 관심사로 여겨질 수 있다.
• 프레임워크는 존슨–린든스트라우스 투영만으로는 코어셋 성질을 직접 유지할 수 없으며, 정교하게 설계된 매핑 $\phi$가 필요하다는 것을 증명한다. 그러나 확률적 논증을 통해 적절한 $\phi$가 존재한다는 것을 보여준다.