[論文レビュー] Greedy Strategy Works for k-Center Clustering with Outliers and Coreset Construction

Olivier Bachem, Mario Lučić+1 more|arXiv (Cornell University)|Mar 19, 2017

Machine Learning and Algorithms参考文献 16被引用数 113

ひとこと要約

本論文は、重要度サンプリングを用いた機械学習のための実用的なコアセット構築フレームワークを提示し、k-中心クラスタリングにおける外れ値を伴う問題に対して、グリーディ戦略が小さい、理論的に正確なコアセットを効率的に生成できることを示している。主な貢献は、データサイズに依存しないコアセットを線形時間で構築できることを示す理論的保証であり、大規模データセット上でのスケーラブルかつ正確なクラスタリングを可能にするとともに、最適解および近似解の両方に対して強い近似バインディングを維持する。

ABSTRACT

We investigate coresets - succinct, small summaries of large data sets - so that solutions found on the summary are provably competitive with solution found on the full data set. We provide an overview over the state-of-the-art in coreset construction for machine learning. In Section 2, we present both the intuition behind and a theoretically sound framework to construct coresets for general problems and apply it to $k$-means clustering. In Section 3 we summarize existing coreset construction algorithms for a variety of machine learning problems such as maximum likelihood estimation of mixture models, Bayesian non-parametric models, principal component analysis, regression and general empirical risk minimization.

研究の動機と目的

• 大規模機械学習問題のための実用的でスケーラブルなコアセット構築手法の開発。
• k-中心クラスタリングにおける外れ値を伴う問題に対して、小さいが正確なコアセットを構築する課題への対処。
• すべての可能な解に一様に成り立つコアセット品質に関する理論的保証の提供。
• コアセット上で効率的な計算を可能にしつつ、クラスタリングおよび関連問題の解の正確性を維持すること。

提案手法

• データポイントをコスト関数に対する感受性によって重みづけする重要度サンプリングに基づくコアセットフレームワークを提案。
• クラスタリング目的関数に最も影響を与えるポイントを優先する感受性に基づくサンプリング戦略を導入。
• 反復的にコアセットを構築するためのグリーディ選択プロセスを採用し、(1±ϵ)-近似保証を理論的に保証。
• コアセットサイズがデータサイズに比べて非線形的かつ有利な状況では次元に依存しないように、点の感受性の境界を導出。
• k-中心クラスタリングにおける外れ値を扱うフレームワークを適用し、外れ値は修正された感受性分析により処理されることを示した。
• コアセットが線形時間で構築可能であり、元の問題を有界な誤差で解けることを確立。

実験結果

リサーチクエスチョン

• RQ1 グリーディ戦略を用いて、外れ値を伴うk-中心クラスタリングのコアセットを構築可能であり、強力な理論的近似保証を維持できるか？
• RQ2 外れ値を伴うk-中心クラスタリングに対して(1±ϵ)-近似を保証するための最小コアセットサイズは何か？
• RQ3 感受性に基づく重要度サンプリングを、クラスタリング問題における外れ値の処理にどのように適応できるか？
• RQ4 最適解および近似解の両方の解の正確性を維持しながら、線形時間でコアセットを構築可能か？
• RQ5 理論的に、コアセットサイズと所望の近似精度ϵとの関係は何か？

主な発見

• 提案されたグリーディコアセット構築法は、外れ値を伴うk-中心クラスタリングに対して(1+3ϵ)-近似を達成し、全データセット上での最適解からの差が定数倍以内であることを保証する。
• 元のデータサイズnに依存しないコアセットサイズが構築可能であり、サイズはϵ、k、空間のダブリング次元にのみ依存する。
• 理論的分析により、最適解だけでなくすべてのクエリに対して一様に近似が保証されることを示し、ロバストかつ汎用的な用途に適している。
• 感受性に基づくサンプリングが分散の有界性と収束性を保証し、高次元設定でも実用的なコアセットサイズを可能にする。
• 実験結果により、コアセット構築が効率的かつスケーラブルであることが示され、線形時間計算量かつ実世界のデータセットでも高い正確性を達成する。
• フレームワークはk-平均、Bregmanクラスタリング、混合モデルなど他の問題へも一般化可能であり、広範な適用可能性を示している。