[論文レビュー] Performance of Johnson-Lindenstrauss Transform for k-Means and k-Medians Clustering

Konstantin Makarychev, Yury Makarychev+1 more|arXiv (Cornell University)|Nov 8, 2018

Automated Road and Building Extraction被引用数 6

ひとこと要約

本稿は、データを O(log(k/ε)/ε²) 次元に射影する際、任意の k-平均値または k-メディアンクラスタリング解のコストが (1+ε) 要因内で保存されることを確立する。この結果は、任意のサブガウスィアン尾部を持つ次元削減マップに対して成り立ち、k-平均値の分野における未解決問題を解決し、p≥1 における一般化 ℓp-クラスタリングへと拡張される。

ABSTRACT

Consider an instance of Euclidean $k$-means or $k$-medians clustering. We show that the cost of the optimal solution is preserved up to a factor of $(1+\varepsilon)$ under a projection onto a random $O(\log(k / \varepsilon) / \varepsilon^2)$-dimensional subspace. Further, the cost of every clustering is preserved within $(1+\varepsilon)$. More generally, our result applies to any dimension reduction map satisfying a mild sub-Gaussian-tail condition. Our bound on the dimension is nearly optimal. Additionally, our result applies to Euclidean $k$-clustering with the distances raised to the $p$-th power for any constant $p$. For $k$-means, our result resolves an open problem posed by Cohen, Elder, Musco, Musco, and Persu (STOC 2015); for $k$-medians, it answers a question raised by Kannan.

研究の動機と目的

• k-平均値および k-メディアンクラスタリングの次元削減保証を確立し、クラスタリングコストが (1+ε) 要因内で保存されることを示す。
• Cohen らが STOC 2015 で提起した、JL 変換が k-平均値クラスタリングに適用可能かどうかという未解決問題を解決する。
• k-平均値を越えて、任意の定数 p≥1 に対して一般化 ℓp-クラスタリングへと分析を拡張する。
• 次元の上限がほぼ最適であり、最適なクラスタリングに限らず、すべての可能なクラスタリングに一様に適用可能であることを示す。

提案手法

• ℝ^m → ℝ^d へのサブガウスィアン尾部を持つランダム射影マップ π を用いて次元を低減し、クラスタリングコストを保存する。
• 確率的議論を適用し、データセット X のすべての分割 𝒞 に対して、𝒞 のコストが π(𝒞) のコストの (1+ε) 範囲内に高確率で保存されることを示す。
• 凸結合と緩い三角不等式に依存する、関数的 F(v,λ) を用いた双対的議論により、射影下でのクラスタコストの乖離を制限する。
• ペアワイズ距離の射影下での挙動を制御するため、距離拡張グラフと重みベクトルの集合 Λ_η を導入する。
• 背理法を用いる：もし (1+ε) の歪み上限に違反する点が多すぎると、特定の λ* が双対関数の妥当性を破ることになる。
• k-平均値 (p=2) および k-メディアン値 (p=1) に適用し、任意の定数 p≥1 に対する ℓp 目的関数へと一般化する。

実験結果

リサーチクエスチョン

• RQ1 ジョンソン＝リンデンストラウス変換は、次元削減の下で、すべての可能な k-クラスタリングのコストを (1+ε) 要因内で保存できるか？
• RQ2 すべてのクラスタリング（最適なもののみでない）に対して (1+ε)-保存を保証するための最適な次元 d は何か？
• RQ3 JL 変換は k-メディアンクラスタリングのコストを保存するのか？ かつ、これまでに知られていたものよりタイトな次元上限でこれを証明できるか？
• RQ4 k-クラスタリングに ℓp 目的関数を適用する場合、次元上限 O(log(k/ε)/ε²) はほぼ最適か？
• RQ5 サブガウスィアン尾部を持つマップを用いて、任意の定数 p≥1 に対する一般化 ℓp-クラスタリングへの分析を拡張できるか？

主な発見

• 高確率で、すべての k-クラスタリングのコストが O(log(k/ε)/ε²) 次元への射影において (1+ε) 要因内で保存される。
• 次元上限 d = O(log(k/ε)/ε²) はほぼ最適であり、最適なクラスタリングに限らず、すべてのクラスタリングに一様に適用可能である。
• k-平均値 (p=2) の場合、Cohen ら (STOC 2015) が提起した JL 変換の適用可能性に関する未解決問題が解決される。
• k-メディアン値 (p=1) の場合、Kannan が提起した次元削減保証に関する疑問に答えが与えられる。
• 次元上限が O(p⁴·log(k/εδ)/ε²) にスケーリングされるように、任意の定数 p≥1 に対する ℓp-クラスタリングへと分析が拡張される。
• この結果は、ガウス分布、直交、および i.i.d. サブガウスィアン射影を含む、任意のサブガウスィアン尾部を持つランダム射影マップに対して成り立つ。