[論文レビュー] Greedy bi-criteria approximations for $k$-medians and $k$-means

Daniel Hsu, Matus Telgarsky|arXiv (Cornell University)|Jul 21, 2016

Complexity and Algorithms in Graphs参考文献 22被引用数 5

ひとこと要約

本稿では、反復的に候補集合から中心を選び、クラスタリングコストを最小化する貪欲な二基準近似アルゴリズムを提案する。このアルゴリズムは、すべてのデータポイントまたは注意深く選択された候補点を用いることで、$\mathcal{O}(k\log(1/\varepsilon))$ 個の中心を用いて $1+\varepsilon$ 近似を達成し、従来の手法と比較して著しく高速化された実行時間を持つ。実験的評価では、$k$-means++ と同等またはそれを上回る性能を示した。

ABSTRACT

This paper investigates the following natural greedy procedure for clustering in the bi-criterion setting: iteratively grow a set of centers, in each round adding the center from a candidate set that maximally decreases clustering cost. In the case of $k$-medians and $k$-means, the key results are as follows. $\bullet$ When the method considers all data points as candidate centers, then selecting $\mathcal{O}(k\log(1/\varepsilon))$ centers achieves cost at most $2+\varepsilon$ times the optimal cost with $k$ centers. $\bullet$ Alternatively, the same guarantees hold if each round samples $\mathcal{O}(k/\varepsilon^5)$ candidate centers proportionally to their cluster cost (as with $ exttt{kmeans++}$, but holding centers fixed). $\bullet$ In the case of $k$-means, considering an augmented set of $n^{\lceil1/\varepsilon ceil}$ candidate centers gives $1+\varepsilon$ approximation with $\mathcal{O}(k\log(1/\varepsilon))$ centers, the entire algorithm taking $\mathcal{O}(dk\log(1/\varepsilon)n^{1+\lceil1/\varepsilon ceil})$ time, where $n$ is the number of data points in $\mathbb{R}^d$. $\bullet$ In the case of Euclidean $k$-medians, generating a candidate set via $n^{\mathcal{O}(1/\varepsilon^2)}$ executions of stochastic gradient descent with adaptively determined constraint sets will once again give approximation $1+\varepsilon$ with $\mathcal{O}(k\log(1/\varepsilon))$ centers in $dk\log(1/\varepsilon)n^{\mathcal{O}(1/\varepsilon^2)}$ time. Ancillary results include: guarantees for cluster costs based on powers of metrics; a brief, favorable empirical evaluation against $ exttt{kmeans++}$; data-dependent bounds allowing $1+\varepsilon$ in the first two bullets above, for example with $k$-medians over finite metric spaces.

研究の動機と目的

• $k$ よりわずかに多い中心数を用いて近似的に最適なクラスタリングコストを達成する貪欲なアルゴリズムを設計し、二基準設定における効率的な近似を可能にすること。
• 既存の $k$-ミーンズおよび $k$-メディアン近似アルゴリズムを改善し、強力な近似保証を維持しながら実行時間を短縮すること。
• 全データポイント、部分抽出されたポイント、および平均に基づく候補集合を含む、異なる候補集合構築法における貪欲な中心選択の性能を分析すること。
• 問題構造と初期化に依存する近似品質の理論的境界を提供すること。データ依存の改善が可能な場合がある。

提案手法

• アルゴリズムは、各ラウンドで合計クラスタリングコストを最も小さくする候補集合からの中心を選択する貪欲な反復的手順を用いる。
• 候補集合は、コスト削減に比例して部分抽出されるか、または $\lceil 1/\varepsilon \rceil$ 個のサブセットの平均を返す 'select' と呼ばれるルーチンによって適応的に構築される。
• $k$-ミーンズの場合、すべてのサイズ $\lceil 1/\varepsilon \rceil$ の部分集合からなる $n^{\lceil 1/\varepsilon \rceil}$ 個の候補中心を用いることで、$\mathcal{O}(k\log(1/\varepsilon))$ 個の中心で $1+\varepsilon$ 近似が達成可能である。
• ユークリッド空間における $k$-メディアンの場合、適応的制約付きの $n^{\mathcal{O}(1/\varepsilon^2)}$ 回の確率的勾配降下（SGD）実行により候補中心が生成され、$\mathcal{O}(dk\log(1/\varepsilon)n^{\mathcal{O}(1/\varepsilon^2)})$ 時間で $1+\varepsilon$ 近似が達成される。
• 分析では、一般化された $p$-ノルム $k$-メディアン設定において、新しいコスト分解と体積に基づくサンプリングの議論を用いて近似要因を限定する。
• 主な技術的要素として、推定コストに比例する半径の球からサンプリングする確率的戦略があり、良好な中心の高確率カバーを保証する。

実験結果

リサーチクエスチョン

• RQ1 全データポイントを候補中心として用いる場合、$\mathcal{O}(k\log(1/\varepsilon))$ 個の中心で $k$-ミーンズおよび $k$-メディアンに $1+\varepsilon$ 近似を達成できるか？
• RQ2 実行時間が $n$ および $d$ に関して多項式的であると同時に、強力な近似保証を達成できる候補集合の構築法は何か？
• RQ3 初期化に $k$-means++ を用いた場合、実際の性能において貪欲法は $k$-means++ よりも優れているか？
• RQ4 強い入力に関する仮定を必要とせず、データ依存の境界が近似要因を改善できるか？
• RQ5 貪欲な二基準クラスタリングにおいて、近似品質、中心数、実行時間のトレードオフは何か？

主な発見

• すべてのデータポイントを候補中心として用いる場合、$\mathcal{O}(k\log(1/\varepsilon))$ 個の中心で、最適な $k$-センター費用の $2+\varepsilon$ 以内のコストが達成される。
• 部分抽出された $\mathcal{O}(k/\varepsilon^5)$ 候補点（$k$-means++ に類似）を用いる場合でも、$\mathcal{O}(k\log(1/\varepsilon))$ 個の中心で $2+\varepsilon$ 近似が達成される。
• $k$-ミーンズの場合、すべてのサイズ $\lceil 1/\varepsilon \rceil$ の部分集合を候補中心として用いることで、$\mathcal{O}(k\log(1/\varepsilon))$ 個の中心で $1+\varepsilon$ 近似が達成され、実行時間は $\mathcal{O}(dk\log(1/\varepsilon)n^{1+\lceil 1/\varepsilon \rceil})$ となる。
• ユークリッド空間における $k$-メディアンの場合、$n^{\mathcal{O}(1/\varepsilon^2)}$ 回の SGD 実行により候補中心が生成され、$\mathcal{O}(k\log(1/\varepsilon))$ 個の中心で $1+\varepsilon$ 近似が達成され、合計時間は $\mathcal{O}(dk\log(1/\varepsilon)n^{\mathcal{O}(1/\varepsilon^2)})$ となる。
• 実験的結果では、$k$-means++ にインspiredされたサンプリングを用いた貪欲法は、5つの UCI データセットにおいて中央値および最小コストの両方で $k$-means++ を上回った。これは、$k$-means++ で初期化した場合でも同様であった。
• 分析により、データ依存の境界が近似要因を改善でき、データに特定の構造的仮定が成り立つ場合には $\mathcal{O}(k\log(1/\varepsilon))$ 個の中心で $1+\varepsilon$ 近似が達成可能であることが示された。