[論文レビュー] Towards Optimal Lower Bounds for k-median and k-means Coresets

Vincent Cohen-Addad, Kasper Green Larsen+2 more|arXiv (Cornell University)|Feb 25, 2022

Facility Location and Emergency Management被引用数 4

ひとこと要約

この論文は、さまざまな距離空間におけるk-メディアンおよびk-ミーンスクラスタリングのコアセットサイズに対して、タイトな下界を確立している。一般の有限距離空間では、任意のコアセットは少なくとも Ω(k log n / ε²) 個の点を含まなければならない。ドゥーブリング距離空間（ドゥーブリング次元 D を持つ）では Ω(kD / ε²)、d次元ユークリッド空間では Ω(k / ε²) が下界である。これに加え、新しいコアセット構成法を提案し、サイズ Õ(k / ε² · min(ε⁻ᶻ, k)) を達成することで、ユークリッド空間においては多項式対数的要因を除いて下界と一致する。この構成法により、ε⁻⁴ の障壁を打ち破った。

ABSTRACT

Given a set of points in a metric space, the $(k,z)$-clustering problem consists of finding a set of $k$ points called centers, such that the sum of distances raised to the power of $z$ of every data point to its closest center is minimized. Special cases include the famous k-median problem ($z = 1$) and k-means problem ($z = 2$). The $k$-median and $k$-means problems are at the heart of modern data analysis and massive data applications have given raise to the notion of coreset: a small (weighted) subset of the input point set preserving the cost of any solution to the problem up to a multiplicative $(1 \pm \varepsilon)$ factor, hence reducing from large to small scale the input to the problem. In this paper, we present improved lower bounds for coresets in various metric spaces. In finite metrics consisting of $n$ points and doubling metrics with doubling constant $D$, we show that any coreset for $(k,z)$ clustering must consist of at least $Ω(k \varepsilon^{-2} \log n)$ and $Ω(k \varepsilon^{-2} D)$ points, respectively. Both bounds match previous upper bounds up to polylog factors. In Euclidean spaces, we show that any coreset for $(k,z)$ clustering must consists of at least $Ω(k\varepsilon^{-2})$ points. We complement these lower bounds with a coreset construction consisting of at most $ ilde{O}(k\varepsilon^{-2}\cdot \min(\varepsilon^{-z},k))$ points.

研究の動機と目的

• k-メディアンおよびk-ミーンスクラスタリングのコアセットサイズに関する既知の上界と下界のギャップを解消すること。
• d次元ユークリッド空間におけるk-メディアンおよびk-ミーンスコアセットの、初めてのタイトな下界を確立し、Ω(k / ε²) が必要であることを示すこと。
• ユークリッド空間において、最適な ε 依存性を持つ新しいコアセット構成法を開発し、ユークリッド空間のk-メディアンおよびk-ミーンスにおいて長年の ε⁻⁴ の障壁を打ち破ること。
• ドゥーブリング空間および一般の有限距離空間においてタイトな境界を確立し、既存の上界と多項式対数的要因を除いて一致させること。
• コアセットおよび近似アルゴリズム設計において独立に価値がある可能性のある、新しいチェイニングに基づく解析技法を導入すること。

提案手法

• 有限距離空間における難しいインスタンスの構築への還元により下界を導出。確率論的および幾何的議論を用いて、任意のコアセットが Ω(k log n / ε²) 個の点を含まなければならないことを示した。
• ドゥーブリング空間に対しても同様の構築を適用し、Ω(kD / ε²) 個の点が必要であることを証明。既知の上界と対数的要因を除いて一致する。
• ユークリッド空間では、(k,z)-クラスタリングに対して Ω(k / ε²) の下界を確立。k-メディアンの既存の Ω(k / √ε) の下界を改善した。
• 近似誤差を制御するための新しいチェイニングに基づく解析を用いて、コアセットを構成。サイズ Õ(k / ε² · min(ε⁻ᶻ, k)) を達成した。
• 2段階の誤差解析を採用：遠方の点については集中不等式を、近接する点については幾何的およびコスト比の議論を用いた。
• 入力空間の再帰的クラスタ分割を適用し、マルコフ型不等式を用いてコスト近似における相対誤差を制御した。

実験結果

リサーチクエスチョン

• RQ1 一般の有限距離空間におけるk-メディアンおよびk-ミーンスクラスタリングのコアセットサイズの最適な下界は何か？
• RQ2 距離空間のドゥーブリング次元 D が (k,z)-クラスタリングに必要な最小コアセットサイズに与える影響は何か？
• RQ3 d次元ユークリッド空間におけるk-メディアンおよびk-ミーンスのコアセットサイズのタイトな下界は何か？
• RQ4 ユークリッド空間において、最適な ε 依存性を持つコアセット構成法を設計できるか？ これにより、ε⁻⁴ の障壁を打ち破れるか？
• RQ5 ε および k に対するより良い依存性を持つコアセット近似保証を証明するために、どのような新しい解析技法を用いることができるか？

主な発見

• n 個の点を持つ一般の有限距離空間では、任意の (ε,k,z)-コアセットは少なくとも Ω(k log n / ε²) 個の点を含まなければならない。これは、既存の最良の上界と多項式対数的要因を除いて一致する。
• ドゥーブリング次元 D を持つドゥーブリング距離空間では、任意のコアセットはサイズ Ω(kD / ε²) を必要とし、k-メディアンおよびk-ミーンスの既存の上界と対数的要因を除いて一致する。
• d次元ユークリッド空間では、(k,z)-クラスタリングに対して Ω(k / ε²) の下界を証明した。これは、k-メディアンの以前の Ω(k / √ε) の下界を改善したものである。
• 著者らは、ユークリッド空間における (k,z)-クラスタリングに対して、サイズ Õ(k / ε² · min(ε⁻ᶻ, k)) のコアセットを構成した。これは、以前の Õ(k²ε⁻⁴) および Õ(kε⁻⁴) の境界を改善した。
• この構成法により、ユークリッド空間のk-メディアンおよびk-ミーンスにおいて長年の ε⁻⁴ の障壁を打ち破り、最適な ε 依存性を達成した。
• k-メディアンのユークリッド空間における下界と上界は、O(ε⁻¹ polylog k / ε) の要因を除いてタイトであり、ε に関する漸近的依存性が多項式対数的要因を除いて解消された。