[論文レビュー] Scalable and Distributed Clustering via Lightweight Coresets.

Olivier Bachem, Mario Lučić+1 more|arXiv (Cornell University)|Feb 27, 2017

Bayesian Methods and Mixture Models参考文献 25被引用数 12

ひとこと要約

本稿では、クラスタリングにおける乗法的および加法的近似誤差を許容する軽量コアセット——コンパクトなデータ要約——を導入する。提案されたアルゴリズムは、k-均値法、Bregmanクラスタリング、およびガウス混合モデルに対して、これらのコアセットを効率的に構築可能であり、より小さいコアセットと優れた性能を実現する、高速でスケーラブルかつ並列処理可能なクラスタリングを可能にする。

ABSTRACT

Coresets are compact representations of data sets such that models trained on a coreset are provably competitive with models trained on the full data set. As such, they have been successfully used to scale up clustering models to massive data sets. While existing approaches generally only allow for multiplicative approximation errors, we propose a novel notion of coresets called lightweight coresets that allows for both multiplicative and additive errors. We provide a single algorithm to construct light-weight coresets for k-Means clustering, Bregman clustering and maximum likelihood estimation of Gaussian mixture models. The algorithm is substantially faster than existing constructions, embarrassingly parallel and resulting coresets are smaller. In an extensive experimental evaluation, we demonstrate that the proposed method outperforms existing coreset constructions.

研究の動機と目的

• 大規模クラスタリングにおける従来のコアセット手法のスケーラビリティの限界を克服するため、新しいコアセット定式化を導入すること。
• クラスタリングモデルにおいて乗法的および加法的誤差保証を可能とし、より高い柔軟性ときめ細かなバウンドを提供すること。
• 従来のコアセット手法と比較して著しく高速かつ「ありきたりに並列化可能（embarrassingly parallel）」である、構築アルゴリズムの設計。
• コアセットサイズを縮小しつつ、クラスタリングの正確性を維持または向上させること。
• 複数のクラスタリングモデルおよびデータセットにおいて、提案手法の優位性を実験的に検証すること。

提案手法

• 乗法的および加法的近似誤差を両方サポートする、新しいコアセット定義——軽量コアセット——を提案する。
• k-均値法、Bregmanクラスタリング、およびガウス混合モデルの最尤推定に適用可能な、単一の統一されたアルゴリズムを構築する。
• 新しいコアセット定義に基づく誤差バウンドを満たすために、適応的重み付けを用いたサンプリングに基づくアプローチを採用する。
• 複数のマシンにわたる効率的な分散構築を可能とするように、アルゴリズムを「ありきたりに並列化可能（embarrassingly parallel）」に設計する。
• 各クラスタリングタイプに対して導出された理論的バウンドを用いて、サンプリング効率と誤差保証のバランスを最適化することで、コアセットサイズを最適化する。
• 理論的誤差解析を構築プロセスに統合し、完全なデータモデルと同等の保証可能な性能を実現する。

実験結果

リサーチクエスチョン

• RQ1 クラスタリングにおいて、乗法的および加法的誤差保証を両方サポートするコアセット定式化を設計可能か？
• RQ2 多様なクラスタリングモデルに効率的に軽量コアセットを生成できる、単一の統一アルゴリズムを構築可能か？
• RQ3 提案された軽量コアセット構築手法の、速度、コアセットサイズ、およびクラスタリング正確性という観点での、従来のコアセット手法との性能比較は？
• RQ4 提案されたアルゴリズムは、分散環境においてどれほど効果的にスケーリングおよび並列化可能か？
• RQ5 実際の応用において、加法的誤差項の導入が、より小型かつ正確なコアセットをもたらすか？

主な発見

• 提案された軽量コアセット構築手法は、評価されたすべてのクラスタリングモデルにおいて、従来のコアセット手法と比較して著しく高速な実行時間を達成する。
• 得られたコアセットは、過去の手法と比較して一貫して小さく、かつクラスタリング正確性を維持または向上させる。
• アルゴリズムは優れたスケーラビリティを示し、効率的な分散デプロイメントを可能とする「ありきたりに並列化可能（embarrassingly parallel）」である。
• 広範な実験において、本手法はクラスタリング品質および計算効率の両面で、従来のコアセット構築手法を上回る。
• 乗法的および加法的誤差の両方について理論的保証が成功裏に維持されており、より柔軟で頑健な近似フレームワークを提供する。