[論文レビュー] A Constant-Factor Bi-Criteria Approximation Guarantee for $k$-means++

Dennis Wei|arXiv (Cornell University)|May 16, 2016

Advanced Clustering Algorithms Research参考文献 27被引用数 12

ひとこと要約

本稿は、$k$-means++アルゴリズムおよびその一般化である$D^{\textbackslash{}ell}$サンプリングに対して、定数倍のバイクリテリア近似保証を確立している。任意の定数$\beta > 1$に対して$\beta k$個のセンターを選択することで、データセットに依存せず、最適な$k$-クラスタリングコストの定数倍以内の期待コストが得られることを示している。この結果は、従来の$O(\log k)$の保証を改善し、確率的保証（定数確率で成り立つ）ではなく期待値に基づく保証を提供する点で優れている。

ABSTRACT

This paper studies the $k$-means++ algorithm for clustering as well as the class of $D^\ell$ sampling algorithms to which $k$-means++ belongs. It is shown that for any constant factor $β> 1$, selecting $βk$ cluster centers by $D^\ell$ sampling yields a constant-factor approximation to the optimal clustering with $k$ centers, in expectation and without conditions on the dataset. This result extends the previously known $O(\log k)$ guarantee for the case $β= 1$ to the constant-factor bi-criteria regime. It also improves upon an existing constant-factor bi-criteria result that holds only with constant probability.

研究の動機と目的

• より多くのセンター（$k$個を超える）を選択する場合に、$k$-means++および$D^{\ell}$サンプリングに対して定数倍のバイクリテリア近似保証を確立すること。
• 正確に$k$個のセンターを選択する$D^{\ell}$サンプリングに対して、従来の$O(\log k)$の期待近似要因を改善すること。
• 高い確率での保証ではなく、期待値に基づく保証を提供することで、データセット全体にわたる頑健性を高めること。
• 任意の$\beta > 1$に対して$\beta k$個のセンターを選択することで、最適な$k$-クラスタリングコストに対する期待値における定数倍近似が達成されることを示すこと。
• 正確なまたは複雑な近似スキームの実用的代替手段として、バイクリテリアトレードオフを活用した単純な$D^{\ell}$サンプリングを提供すること。

提案手法

• 点の選択確率を、既に選択されたセンターへの距離の$\ell$乗に比例する$D^{\ell}$サンプリングを用いて、$\beta k$個のクラスターセンターを選択する。
• 各点から最も近い選択済みセンターまでの距離の$\ell$乗の和を追跡するためのポテンシャル関数$\phi$を導入する。
• 最終的なポテンシャル$\mathbb{E}[\phi^\prime]$の期待値を、$\beta k$個のセンターが選択された後で評価するための再帰的解析フレームワークを適用する。
• 未カバーのクラスタ数および残りのセンター数を変数とする係数関数$c_{\mathcal{V}}(t,u)$および$c_{\mathcal{U}}(t,u)$を導出し、ポテンシャルの期待値を上界で抑え込む。
• Lemma 3を用いて、少なくとも1つの最適クラスタをカバーする条件下で、各センター選択後の期待ポテンシャルを評価する。
• ArthurとVassilvitskii（2007）の既知の結果と組み合わせることで、期待近似比のタイトな上界を導出する。

実験結果

リサーチクエスチョン

• RQ1 $\beta > 1$のとき$D^{\ell}$サンプリングで$\beta k$個のセンターを選択することで、最適な$k$-クラスタリングコストに対する期待値における定数倍近似が達成可能か？
• RQ2 標準的な$k$-センターの場合と比較して、$k$個を超えるセンターを使用する場合に$D^{\ell}$サンプリングの近似要因はどのように改善されるか？
• RQ3 高い確率での保証ではなく、期待値に基づく保証により、定数倍のバイクリテリア近似を達成することは可能か？
• RQ4 任意の$\ell$に対して、$\beta k$個のセンターを選択する$D^{\ell}$サンプリングが達成可能な最もタイトな近似要因は何か？また、その値は$\ell$に依存するか？
• RQ5 同じ最適クラスタから複数のセンターが選択される状況を考慮して解析を精緻化することで、より良い上界が得られるか？

主な発見

• $D^{\ell}$サンプリングにより$\beta k$個のセンターが選択されると、任意の定数$\beta > 1$に対して、最適な$k$-クラスタリングコストに対する期待値における定数倍近似が達成される。
• 期待近似要因は、$r_D^{(\ell)} \left(1 + \frac{\varphi(k-2)}{(\beta-1)k + \varphi}\right) - \frac{2C}{n}$で抑えられ、ここで$\varphi = \frac{1+\sqrt{5}}{2}$であり、$C$は非負の式である。
• この結果は、正確に$k$個のセンターを選択する$k$-means++の$O(\log k)$の期待近似要因を改善している。
• 分布的・幾何的仮定を一切設けず、すべてのデータセットおよび次元数に対して保証が成り立つ。
• 解析により、$\beta$が大きくなるほど近似要因が小さくなることが示され、かつ、従来の定数倍結果（定数確率での成り立ち）よりもタイトな上界が得られている。
• このフレームワークにより、線形計画法による後処理が可能となり、定数倍近似を保ったまま$k$-センター解を回復できる。