[논문 리뷰] Improved Coresets for Euclidean $k$-Means

Vincent Cohen-Addad, Kasper Green Larsen외 3명|arXiv (Cornell University)|2022. 11. 15.

Face and Expression Recognition참고 문헌 54인용 수 7

한 줄 요약

이 논문은 유클리드 $k$-평균 및 $k$-중심 문제에 대해 개선된 코어셋 구성법을 제시하며, 기존의 장기간 지속된 $k^2$ 장벽을 뛰어넘으면서도 최적의 $ε^{-2}$ 의존도를 달성한다. 기존의 종단점 임bedding에 의존하지 않고, 정교한 분산 경계를 갖춘 사슬 기반 넷 구성법을 활용한 새로운 분석 프레임워크를 도입함으로써, $k$-평균의 경우 $ ihilde{O}(k^{3/2}ε^{-2})$ 크기의 코어셋, $k$-중심의 경우 $ ihilde{O}(k^{4/3}ε^{-2})$ 크기의 코어셋을 달성하여, $k$에 대한 비제곱 의존도를 확보하면서도 최적의 $ε$-의존도를 유지한다.

ABSTRACT

Given a set of $n$ points in $d$ dimensions, the Euclidean $k$-means problem (resp. the Euclidean $k$-median problem) consists of finding $k$ centers such that the sum of squared distances (resp. sum of distances) from every point to its closest center is minimized. The arguably most popular way of dealing with this problem in the big data setting is to first compress the data by computing a weighted subset known as a coreset and then run any algorithm on this subset. The guarantee of the coreset is that for any candidate solution, the ratio between coreset cost and the cost of the original instance is less than a $(1\pm \varepsilon)$ factor. The current state of the art coreset size is $ ilde O(\min(k^{2} \cdot \varepsilon^{-2},k\cdot \varepsilon^{-4}))$ for Euclidean $k$-means and $ ilde O(\min(k^{2} \cdot \varepsilon^{-2},k\cdot \varepsilon^{-3}))$ for Euclidean $k$-median. The best known lower bound for both problems is $Ω(k \varepsilon^{-2})$. In this paper, we improve the upper bounds $ ilde O(\min(k^{3/2} \cdot \varepsilon^{-2},k\cdot \varepsilon^{-4}))$ for $k$-means and $ ilde O(\min(k^{4/3} \cdot \varepsilon^{-2},k\cdot \varepsilon^{-3}))$ for $k$-median. In particular, ours is the first provable bound that breaks through the $k^2$ barrier while retaining an optimal dependency on $\varepsilon$.

연구 동기 및 목표

• 유클리드 $k$-평균 및 $k$-중심 문제에 대해 기존에 알려진 최선의 코어셋 상한값과 $\Omega(k\varepsilon^{-2})$ 하한값 사이의 격차를 메우기 위해.
• 코어셋 크기의 $k$에 대한 비제곱 의존도를 확보하면서도 최적의 $\varepsilon^{-2}$ 의존도를 유지하기 위해.
• 이전에 고차원 코어셋 분석에서 핵심이 되었던 종단점 임베딩에 의존하지 않는 코어셋 구성법을 개발하기 위해.
• 코어셋 크기의 하한값인 $k\varepsilon^{-2}$ 가 실제로 tight함을 이론적으로 입증하기 위해, $k^{3/2}$ 와 $k^{4/3}$ 의존도를 갖는 첫 번째 코어셋을 구성하기 위해.

제안 방법

• 후보 해에 대해 사슬 기반 넷 구성법을 도입하며, 각 수준 $\alpha$ 는 어떤 점과 중심 집합에 대해서도 $\alpha$-근사값을 보장한다.
• 비용 차이를 이진 수준 $2^{-(h+1)}$ 와 $2^{-h}$ 에서의 연속합으로 분해함으로써 분석에서 분산 감소를 가능하게 한다.
• 가중치가 부여된 부분집합을 사용하는 랜덤 샘플링 프레임워크를 적용하며, 코어셋 크기는 추정기 분산에 대한 농도 경계에 의해 결정된다.
• 종단점 임베딩을 피하기 위해 직접적인 기하학적 및 확률적 추론을 사용하는, 넷의 가우시안 폭에 대한 새로운 분석을 적용한다.
• 꼬리 행동을 제어하고 전체 기대값의 법칙을 통해 경계를 조합하기 위해 고확률 사건 $\mathcal{E}$ 에 대한 조건부 분석을 도입한다.
• 클러스터 수준과 전역 수준의 넷을 결합한 하이브리드 넷 구성법을 사용하며, 크기 경계는 $\log\|P\|_0$ 와 $k_i \cdot 2^i$ 항목으로 유도된다.

실험 결과

연구 질문

• RQ1 유클리드 $k$-평균 문제에 대해 코어셋 크기를 $k$에 대한 비제곱 의존도로 개선하면서도 최적의 $\varepsilon^{-2}$ 의존도를 유지할 수 있는가?
• RQ2 $k$-중심 문제에 대해 $k^{4/3}$ 의존도를 갖는 코어셋을 구성할 수 있는가? 이때 $\varepsilon$ 에 대한 의존도는 $\varepsilon^{-2}$ 여야 한다.
• RQ3 고차원 코어셋 구성에서 종단점 임베딩에 의존하는 것을 제거할 수 있는가? 이로 인해 정밀도가 떨어지지 않는가?
• RQ4 이진 근사 수준을 사용하는 사슬 기반 넷 구성법이 이전 방법보다 더 나은 분산 제어를 가능하게 하는가?
• RQ5 코어셋 크기를 $k$-평균의 경우 $\tilde{O}(k^{3/2}\varepsilon^{-2})$, $k$-중심의 경우 $\tilde{O}(k^{4/3}\varepsilon^{-2})$ 로 줄일 수 있는가? 이는 하한값에 로그 인자만을 제외하고 일치한다.

주요 결과

• 논문은 유클리드 $k$-평균 문제에 대해 크기가 $\tilde{O}(k^{3/2}\varepsilon^{-2})$ 인 코어셋을 구성함으로써, 이전의 $k^2$ 장벽을 돌파하였다.
• 유클리드 $k$-중심 문제에 대해 논문은 크기가 $\tilde{O}(k^{4/3}\varepsilon^{-2})$ 인 코어셋을 달성하여, 이전의 $\tilde{O}(k^2\varepsilon^{-2})$ 경계를 향상시켰다.
• 제안된 방법은 종단점 임베딩을 회피함으로써 유클리드 공간에서의 코어셋 구성에 대한 새로운 분석적 접근법을 제공한다.
• 분석은 최적의 $\varepsilon^{-2}$ 의존도를 유지하면서도, $k$-평균의 경우 $k^2$ 에서 $k^{3/2}$ 로, $k$-중심의 경우 $k^2$ 에서 $k^{4/3}$ 으로 $k$-의존도를 감소시켰다.
• 이러한 결과는 $\Omega(k\varepsilon^{-2})$ 하한값이 실제로 tight함을 강력한 이론적 증거로 제시하며, 이는 이전의 모든 구성보다 이 하한값에 더 가까운 경계를 확보하기 때문이다.
• 이 프레임워크는 강건하며, 대칭화, 사슬 기반 기법, 고확률 사건 조건부 분석를 통해 추정기의 농도가 모든 후보 해에 걸쳐 보장되도록 한다.