[論文レビュー] Random Projections for k-Means: Maintaining Coresets Beyond Merge & Reduce.

Marc Bury, Chris Schwiegelshohn|arXiv (Cornell University)|Apr 7, 2015

Stochastic Gradient Optimization Techniques参考文献 33被引用数 3

ひとこと要約

この論文は、ジョンソン＝リンデンストラウス埋め込みを用いてk-means問題の小さなコアセットを構築する新しい手法を紹介している。従来のマージ＆リダクションフレームワークの空間非効率性を回避し、オフラインでのコアセットサイズを最適な $\tilde{O}(k \epsilon^{-2} \min(d,k\epsilon^{-2}))$ に、ストリームのストレージバウンドを $\tilde{O}(k^2 \epsilon^{-2} \log^2 n \min(d,k\epsilon^{-2}))$ に抑え、データストリームにおける空間効率を顕著に向上させた。

ABSTRACT

We give a new construction for a small space summary satisfying the coreset guarantee of a data set with respect to the $k$-means objective function. The number of points required in an offline construction is in $ ilde{O}(k \epsilon^{-2}\min(d,k\epsilon^{-2}))$ which is minimal among all available constructions. Aside from two constructions with exponential dependence on the dimension, all known coresets are maintained in data streams via the merge and reduce framework, which incurs are large space dependency on $\log n$. Instead, our construction crucially relies on Johnson-Lindenstrauss type embeddings which combined with results from online algorithms give us a new technique for efficiently maintaining coresets in data streams without relying on merge and reduce. The final number of points stored by our algorithm in a data stream is in $ ilde{O}(k^2 \epsilon^{-2} \log^2 n \min(d,k\epsilon^{-2}))$.

研究の動機と目的

• マージ＆リダクションフレームワークに依存する既存のデータストリームコアセット維持手法の高い空間複雑性を解決すること。
• 次元数や近似誤差に依存しない最小化を実現する、オフライン設定で最適なサイズを達成するコアセット構築法を開発すること。
• マージ＆リダクションに依存せず、$\log n$ の空間オーバーヘッドを伴わない、効率的かつ低空間のデータストリームにおけるコアセット維持を可能にすること。
• ジョンソン＝リンデンストラウス埋め込みとオンラインアルゴリズム技術を組み合わせ、スケーラブルで空間効率の良いk-means用コアセット構築法を創出すること。

提案手法

• k-means構造を保持しつつ、高次元データを低次元空間に射影するジョンソン＝リンデンストラウス型の埋め込みを活用する。
• オンラインアルゴリズムの結果を活用し、ストリームでデータが到着するにつれてコアセットを段階的に維持する。
• 埋め込み空間でコアセットを構築し、k-means目的関数に対して $\epsilon$-近似保証を満たすようにする。
• 次元削減を適用して、特に $d$ が大きい場合に元のデータ次元数 $d$ への有効な依存を低減する。
• 完全にマージ＆リダクションフレームワークを回避し、データポイント数に依存する $\log n$ の空間依存性を排除する。
• 埋め込みベースの圧縮とオンラインコアセット維持を組み合わせることで、データストリームにおける近似的な最良の空間バウンドを達成する。

実験結果

リサーチクエスチョン

• RQ1 データストリームにおいて、$\log n$ に依存しない空間複雑性でk-means用コアセットを構築することは可能か？
• RQ2 ストリーミング手法を用いて、$\tilde{O}(k \epsilon^{-2} \min(d,k\epsilon^{-2}))$ の最適なオフラインコアセットサイズを達成することは可能か？
• RQ3 ジョンソン＝リンデンストラウス埋め込みをオンラインコアセット技術と効果的に組み合わせ、マージ＆リダクションを避けても精度を維持できるか？
• RQ4 $\epsilon$-近似を保持しつつ、k-means用コアセットをデータストリームで維持するために必要な最小空間は何か？
• RQ5 従来のマージ＆リダクションに基づくアプローチと比較して、この新手法は空間効率に優れているか？

主な発見

• オフラインコアセット構築は、$\tilde{O}(k \epsilon^{-2} \min(d,k\epsilon^{-2}))$ のサイズを達成しており、既知の構築法の中で最適である。
• データストリームアルゴリズムは、$\tilde{O}(k^2 \epsilon^{-2} \log^2 n \min(d,k\epsilon^{-2}))$ 個の点を格納し、マージ＆リダクションの $\log n$ 依存性を顕著に低減している。
• 2つの先行研究で見られた次元数への指数的依存性を排除しており、高次元データにもスケーラブルである。
• マージ＆リダクションをジョンソン＝リンデンストラウス埋め込みに置き換えることで、ストリーミング環境における空間効率が向上した。
• 高い確率でk-means目的関数に対する $\epsilon$-近似保証を維持している。
• マージ＆リダクションに依存せず、オフラインで最適なサイズを達成すると同時に、データストリームで低空間を維持する最初の手法である。