[論文レビュー] Nearly Optimal Dynamic $k$-Means Clustering for High-Dimensional Data

Wei Hu, Zhao Song+2 more|arXiv (Cornell University)|Feb 1, 2018

Advanced Clustering Algorithms Research参考文献 26被引用数 5

ひとこと要約

本稿では、次元 $d$ に関して多項式的で、$k$ に関してほぼ線形的な空間を用いる、高次元空間における $k$-means クラスタリングの初めての動的ストリーミングアルゴリズムを提示する。これは、新たな感度に基づくコアセット構築により達成され、$ ilde{O}(k)\cdot\mathrm{poly}(d,\log\Delta,\epsilon^{-1})$ の空間で、サイズ $O(k\epsilon^{-2}d^4\log(kd\log\Delta))$ の $\\(epsilon$-コアセットを維持する。これにより、挿入と削除を伴う効率的な近似クラスタリングが可能になる。

ABSTRACT

We consider the $k$-means clustering problem in the dynamic streaming setting, where points from a discrete Euclidean space $\{1, 2, \ldots, Δ\}^d$ can be dynamically inserted to or deleted from the dataset. For this problem, we provide a one-pass coreset construction algorithm using space $ ilde{O}(k\cdot \mathrm{poly}(d, \logΔ))$, where $k$ is the target number of centers. To our knowledge, this is the first dynamic geometric data stream algorithm for $k$-means using space polynomial in dimension and nearly optimal (linear) in $k$.

研究の動機と目的

• 高次元ユークリッド空間における点の挿入と削除を両方サポートする、$k$-means クラスタリングの動的ストリーミングアルゴリズムを設計すること。
• 次元 $d$ に関して多項式的で、$k$ に関してほぼ線形的な空間計算量を達成すること。これは、対数要因を除いて最適である。
• 感度サンプリングを用いて1パスで $\\epsilon$-コアセットを構築し、真の $k$-means コストに対して $(1+\\epsilon)$-近似を保証すること。
• 従来のマージ・リダクションおよびテレスコープ和フレームワークが、特に $k$-means において動的設定で失敗するという制限を克服すること。
• 動的更新において高確率の保証を維持する、空間効率的で1パスのコアセット構築を提供すること。

提案手法

• 各点がその感度上界 $s'(q)$ 比例確率でサンプリングされる感度サンプリングフレームワークを用いる。これは、合計コストに与える潜在的影響を測る。
• 空間 $[\\Delta]^d$ を複数のレベルにわたる階層的グリッド分割により、セルのサイズを段階的に小さくすることで、局所的な密度と感度を推定する。
• グリッドレベルにおけるテレスコープ和を用いて、高密度領域の点の感度を抑え、高密度領域の点は感度が低いという事実を活用する。
• 感度の再帰的推定手順を採用し、$\sum_q s'(q)$ を $\widetilde{O}(k \cdot \mathrm{poly}(d))$ で抑え、これにより小さなコアセットサイズを実現する。
• 逆確率重み付けによる重み付きサンプリングを用いてコアセットを構築し、すべての $k$-センター設定において推定コストの集中を保証する。
• 感度推定値とセルカウントの段階的更新により、1パスでコアセットを動的かつ維持可能にし、挿入と削除を両方サポートする。

実験結果

リサーチクエスチョン

• RQ1 次元 $d$ に関して多項式的で、$k$ に関してほぼ線形的な空間を用いて、高次元空間における動的 $k$-means コアセットを構築することは可能か？
• RQ2 点が挿入および削除される動的ストリーミングモデルにおいて、点の感度を効率的に推定することは可能か？
• RQ3 テレスコープ和技法が中心位置の2次関数的依存性により失敗するため、感度サンプリングを動的ストリームに適応可能か？
• RQ4 $(1+\\epsilon)$-近似保証を満たす動的 $k$-means に対して、達成可能な最小コアセットサイズは何か？
• RQ5 挿入と削除の両方をサポートする状態で、$\widetilde{O}(k)\cdot\mathrm{poly}(d)$ の空間でコアセットを維持することは可能か？

主な発見

• アルゴリズムは高確率（0.9以上）で、サイズ $O(k\epsilon^{-2}d^4\log(kd\log\Delta))$ の $\\epsilon$-コアセットを構築する。
• 空間計算量は $\widetilde{O}(k)\cdot\mathrm{poly}(d,\log\Delta,\epsilon^{-1})$ であり、$d$ に関して多項式的で、$k$ に関してほぼ線形的であり、近似的に最適性を達成する。
• コアセット構築は1パスで行われ、挿入と削除を両方サポートしており、動的データストリームに適している。
• 感度推定フレームワークにより、$\sum_q s'(q) = \widetilde{O}(k \cdot \mathrm{poly}(d))$ が保証され、これによりコアセットサイズの上限が直接得られる。
• 階層的グリッドと局所的密度推定を用いることで、テレスコープ和技法が $k$-means で失敗するのを回避する。
• これは、次元 $d$ に関して多項式的で、$k$ に関して線形的な空間を用いる、$k$-means の初めての動的ストリーミングアルゴリズムであり、分野における重要な未解決問題を解決する。