[논문 리뷰] Towards Optimal Lower Bounds for k-median and k-means Coresets

Vincent Cohen-Addad, Kasper Green Larsen외 2명|arXiv (Cornell University)|2022. 02. 25.

Facility Location and Emergency Management인용 수 4

한 줄 요약

이 논문은 다양한 거리 공간에서 k-median 및 k-means 군집화의 코어셋 크기에 대해 날카운 하한을 확립한다. 일반 유한 거리 공간에서는 임의의 코어셋이 최소 Ω(k log n / ε²)개의 점을 가져야 하며, 이중도 수준이 D인 이중도 거리 공간에서는 Ω(kD / ε²)개, d차원 유클리드 공간에서는 Ω(k / ε²)개가 필요하다. 이 하한을 보완하여, 새로운 코어셋 구성 기법을 제안하여 크기가 Õ(k / ε² · min(ε⁻ᶻ, k))인 코어셋을 얻었으며, 유클리드 공간에서 하한과 비슷한 다중로그 요소를 제외한 수준에서 최적화된 성능을 달성하고, ε⁻⁴ 장벽을 돌파하였다.

ABSTRACT

Given a set of points in a metric space, the $(k,z)$-clustering problem consists of finding a set of $k$ points called centers, such that the sum of distances raised to the power of $z$ of every data point to its closest center is minimized. Special cases include the famous k-median problem ($z = 1$) and k-means problem ($z = 2$). The $k$-median and $k$-means problems are at the heart of modern data analysis and massive data applications have given raise to the notion of coreset: a small (weighted) subset of the input point set preserving the cost of any solution to the problem up to a multiplicative $(1 \pm \varepsilon)$ factor, hence reducing from large to small scale the input to the problem. In this paper, we present improved lower bounds for coresets in various metric spaces. In finite metrics consisting of $n$ points and doubling metrics with doubling constant $D$, we show that any coreset for $(k,z)$ clustering must consist of at least $Ω(k \varepsilon^{-2} \log n)$ and $Ω(k \varepsilon^{-2} D)$ points, respectively. Both bounds match previous upper bounds up to polylog factors. In Euclidean spaces, we show that any coreset for $(k,z)$ clustering must consists of at least $Ω(k\varepsilon^{-2})$ points. We complement these lower bounds with a coreset construction consisting of at most $ ilde{O}(k\varepsilon^{-2}\cdot \min(\varepsilon^{-z},k))$ points.

연구 동기 및 목표

• 다양한 거리 공간에서 k-median 및 k-me안 군집화의 코어셋 크기에 대한 알려진 상한과 하한 사이의 격차를 해소하기 위해.
• d차원 유클리드 공간에서 k-median 및 k-means 코어셋에 대해 처음으로 날카운 하한을 확립하여, Ω(k / ε²)이 필수적임을 보이기 위해.
• 유클리드 공간에서 최적의 ε 의존성을 가지는 새로운 코어셋 구성 기법을 개발하여, 유클리드 k-median 및 k-means에서 오랫동안 유지된 ε⁻⁴ 장벽을 돌파하기 위해.
• 이중도 거리 공간과 일반 유한 거리 공간에서 날카운 하한을 확립하여, 기존 상한과 다중로그 요소를 제외한 수준에서 일치시키기 위해.
• 코어셋 및 근사 알고리즘 설계에 독립적인 관심을 가질 수 있는 새로운 체이닝 기반 분석 기법을 도입하기 위해.

제안 방법

• 유한 거리 공간에서 어려운 사례 구성으로의 감소를 통해 하한을 유도하며, 확률론적 및 기하학적 추론을 사용하여 임의의 코어셋이 최소 Ω(k log n / ε²)개의 점을 포함해야 함을 보였다.
• 이중도 거리 공간에서도 유사한 구성 기법을 적용하여, Ω(kD / ε²)개의 점이 필요함을 증명하였으며, 이는 알려진 상한과 로그 요소를 제외한 수준에서 일치한다.
• 유클리드 공간에서는 (k,z)-군집링에 대해 Ω(k / ε²)의 하한을 확립하였으며, 이는 이전의 k-median에 대한 Ω(k / √ε)의 하한보다 향상된 것이다.
• 근사 오차를 제한하기 위해 새로운 체이닝 기반 분석을 사용하는 새로운 코어셋 구성 기법을 제안하여, 크기가 Õ(k / ε² · min(ε⁻ᶻ, k))인 코어셋을 얻었다.
• 오차 분석을 두 부분으로 나누어 수행: 먼 점들에 대해서는 농도 불등식을, 가까운 점들에 대해서는 기하학적 및 비용 비율 추론을 사용하였다.
• 입력 공간을 클러스터로 재귀적으로 분할하고, 마르코프 유사 불등식을 적용하여 비용 근사의 상대 오차를 제어하였다.

실험 결과

연구 질문

• RQ1 일반적인 유한 거리 공간에서 k-median 및 k-means 군집화의 코어셋 크기에 대한 최적의 하한은 무엇인가요?
• RQ2 거리 공간의 이중도 차원 D가 (k,z)-군집링에 필요한 최소 코어셋 크기에 미치는 영향은 무엇인가요?
• RQ3 d차원 유클리드 공간에서 k-median 및 k-means에 대한 코어셋 크기에 대한 가장 날카운 하한은 무엇인가요?
• RQ4 유클리드 공간에서 최적의 ε 의존성을 가지는 코어셋 구성 기법을 설계할 수 있을까요? 이는 ε⁻⁴ 장벽을 돌파할 수 있나요?
• RQ5 ε 및 k에 대한 더 나은 의존성을 가지는 코어셋 근사 보장을 증명하기 위해 어떤 새로운 분석 기법을 사용할 수 있을까요?

주요 결과

• n개의 점을 가진 일반적인 유한 거리 공간에서는 임의의 (ε,k,z)-코어셋이 최소 Ω(k log n / ε²)개의 점을 가져야 하며, 이는 다중로그 요소를 제외한 수준에서 알려진 최상의 상한과 일치한다.
• 이중도 차원 D를 가진 이중도 거리 공간에서는 임의의 코어셋 크기가 Ω(kD / ε²)여야 하며, 이는 k-median 및 k-means에 대한 알려진 상한과 로그 요소를 제외한 수준에서 일치한다.
• d차원 유클리드 공간에서는 (k,z)-군집링에 대해 Ω(k / ε²)의 하한을 증명하였으며, 이는 이전의 k-median에 대한 Ω(k / √ε)의 하한보다 향상된 것이다.
• 저자들은 유클리드 공간에서 (k,z)-군집링에 대해 크기가 Õ(k / ε² · min(ε⁻ᶻ, k))인 코어셋을 구성하였다. 이는 이전의 Õ(k²ε⁻⁴) 및 Õ(kε⁻⁴)의 상한보다 향상된 것이다.
• 이 구성 기법은 유클리드 공간에서 k-median 및 k-means의 코어셋 크기에 대해 오랫동안 유지된 ε⁻⁴ 장벽을 돌파하였으며, 최적의 ε 의존성을 달성하였다.
• 결합된 하한 및 상한은 유클리드 공간에서 k-median에 대해 다중로그 요소를 제외한 수준에서 날카로운 수준까지 일치하며, ε에 대한 점근적 의존성은 다중로그 요소를 제외한 수준에서 해결되었다.