[論文レビュー] Improved Coresets for Euclidean $k$-Means

Vincent Cohen-Addad, Kasper Green Larsen+3 more|arXiv (Cornell University)|Nov 15, 2022

Face and Expression Recognition参考文献 54被引用数 7

ひとこと要約

本稿では、ユークリッド空間における $k$-means および $k$-median 問題のコアセット構築を改善し、$\varepsilon^{-2}$ 依存性を最適化するとともに、長年の $k^2$ の壁を打ち破った。著者らは、端末埋め込みに依存しない新しい分析フレームワークを導入し、精密化された分散バウンドを伴うチェインニングに基づくネット構築を活用することで、$k$-means に対して $\tilde{O}(k^{3/2}\varepsilon^{-2})$、$k$-median に対して $\tilde{O}(k^{4/3}\varepsilon^{-2})$ のコアセットサイズを達成した。これは、$k$ に対して非平方の依存性を実現するとともに、$\varepsilon$ に対して最適な $\varepsilon^{-2}$ 依存性を保った、初めての証明可能な結果である。

ABSTRACT

Given a set of $n$ points in $d$ dimensions, the Euclidean $k$-means problem (resp. the Euclidean $k$-median problem) consists of finding $k$ centers such that the sum of squared distances (resp. sum of distances) from every point to its closest center is minimized. The arguably most popular way of dealing with this problem in the big data setting is to first compress the data by computing a weighted subset known as a coreset and then run any algorithm on this subset. The guarantee of the coreset is that for any candidate solution, the ratio between coreset cost and the cost of the original instance is less than a $(1\pm \varepsilon)$ factor. The current state of the art coreset size is $ ilde O(\min(k^{2} \cdot \varepsilon^{-2},k\cdot \varepsilon^{-4}))$ for Euclidean $k$-means and $ ilde O(\min(k^{2} \cdot \varepsilon^{-2},k\cdot \varepsilon^{-3}))$ for Euclidean $k$-median. The best known lower bound for both problems is $Ω(k \varepsilon^{-2})$. In this paper, we improve the upper bounds $ ilde O(\min(k^{3/2} \cdot \varepsilon^{-2},k\cdot \varepsilon^{-4}))$ for $k$-means and $ ilde O(\min(k^{4/3} \cdot \varepsilon^{-2},k\cdot \varepsilon^{-3}))$ for $k$-median. In particular, ours is the first provable bound that breaks through the $k^2$ barrier while retaining an optimal dependency on $\varepsilon$.

研究の動機と目的

• ユークリッド $k$-means および $k$-median 問題における、最良の既知のコアセット上界と $\Omega(k\varepsilon^{-2})$ の下界との差を埋める。
• コアセットサイズを $k$ に対して非平方の依存性にしつつ、最適な $\varepsilon^{-2}$ 依存性を維持する。
• 高次元におけるコアセット解析で中心的だった端末埋め込みに依存しないコアセット構築法を開発する。
• $k\varepsilon^{-2}$ のコアセットサイズの上限がタイトであるという理論的証拠を提供するため、$k^{3/2}$ および $k^{4/3}$ 依存性を持つ最初のコアセットを構築する。

提案手法

• 候補解の上にチェインニングに基づくネット構築を実施し、各レベル $\alpha$ で任意の点と重心集合に対するコストの $\alpha$-近似を保証する。
• コスト差を二進レベル $2^{-(h+1)}$ と $2^{-h}$ の間の望ましい和に分解することで、分析における分散低減を可能にする。
• 重み付き部分集合を用いた確率的サンプリングフレームワークを適用し、推定子の分散に関する集中不等式によってコアセットサイズを決定する。
• 対称化とチェインニングによるネットのガウス幅の新しい分析を適用し、端末埋め込みを避けるために直接的な幾何学的・確率的議論を用いる。
• 尾部の挙動を制御するため、高確率事象 $\mathcal{E}$ における条件付き確率を導入し、全期待値の法則を用いて境界を統合する。
• クラスタレベルとグローバルレベルの両方のネットを組み合わせたハイブリッドネット構築法を採用し、$\log\|P\|_0$ および $k_i \cdot 2^i$ 項に基づくサイズバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 ユークリッド $k$-means のコアセットサイズを、$k$ に対して非平方の依存性に改善しつつ、最適な $\varepsilon^{-2}$ 依存性を維持できるか？
• RQ2 $k$-median に対して、$k$ に $k^{4/3}$ 依存性、$\varepsilon$ に $\varepsilon^{-2}$ 依存性を持つコアセットを構築することは可能か？
• RQ3 高次元コアセット構築において端末埋め込みに依存するのを排除しても、タイトさを損なわずに済むか？
• RQ4 二進近似レベルを用いたチェインニングベースのネット構築は、従来の手法と比較してより良い分散制御を可能にするか？
• RQ5 コアセットサイズを $k$-means に対して $\tilde{O}(k^{3/2}\varepsilon^{-2})$、$k$-median に対して $\tilde{O}(k^{4/3}\varepsilon^{-2})$ にまで低減でき、下界の $\Omega(k\varepsilon^{-2})$ に対数的要因を除いて一致するか？

主な発見

• 本稿では、ユークリッド $k$-means 問題に対して、サイズ $\tilde{O}(k^{3/2}\varepsilon^{-2})$ のコアセットを構築した。これは、従来の $k^2$ の壁を打ち破ったものである。
• ユークリッド $k$-median 問題に対しては、$\tilde{O}(k^{4/3}\varepsilon^{-2})$ のコアセットサイズを達成し、従来の $\tilde{O}(k^2\varepsilon^{-2})$ の境界を改善した。
• 提案手法は端末埋め込みに依存せず、ユークリッド空間におけるコアセット構築のための新たな分析的道筋を提供する。
• 分析は最適な $\varepsilon^{-2}$ 依存性を維持しながら、$k$-means では $k^2$ から $k^{3/2}$、$k$-median では $k^2$ から $k^{4/3}$ へと $k$ 依存性を低減した。
• 本結果は、$\Omega(k\varepsilon^{-2})$ の下界がタイトであるという強力な理論的証拠を提供しており、これまでのいかなる構築手法よりもこの限界に近い境界を達成した。
• フレームワークは頑健であり、対称化、チェインニング、高確率事象における条件付き確率を用いたバウンド導出により、すべての候補解にわたる推定子の集中を保証している。