[論文レビュー] Improved MapReduce and Streaming Algorithms for $k$-Center Clustering (with Outliers)

Matteo Ceccarello, Andrea Pietracaprina+1 more|arXiv (Cornell University)|Feb 26, 2018

Data Management and Algorithms参考文献 30被引用数 1

ひとこと要約

本稿では、外部要因を伴う・伴わない$k$-centerクラスタリング問題に対する、NovelなMapReduceおよびストリーミングアルゴリズムを提示している。効率的なリソース利用を活用することで、最適解に限りなく近い近似係数を達成している。このアプローチにより、分散およびストリーミング環境においても、高い正確性を維持しながら効果的にスケーリングが可能である。

ABSTRACT

We present efficient MapReduce and Streaming algorithms for the $k$-center problem with and without outliers. Our algorithms exhibit an approximation factor which is arbitrarily close to the best possible, given enough resources.

研究の動機と目的

• 分散およびストリーミング環境におけるスケーラブルな$k$-centerクラスタリングの課題に取り組むこと。特に、データに外れ値が含まれる可能性がある状況を想定する。
• 制限された計算リソース下でも、最高の近似品質（最良のものに限りなく近い）を維持するアルゴリズムを設計すること。
• ストリーミングおよびバッチMapReduceフレームワークにおいて、外れ値対応型および非外れ値対応型の両方のクラスタリングをサポートすること。
• 大規模データ処理ワークロードにおいて、実用的な効率性と理論的保証の両方を確保すること。

提案手法

• アルゴリズムは二段階のアプローチを採用する。まず、データサイズを縮小しつつクラスタリング品質を保持するため、サンプリングに基づく戦略を用いて候補となる中心点を特定する。
• MapReduceフレームワークにおいて、最大半径を最小化するように反復的に中心点を選択する、修正されたグリーディー選択プロセスを適用する。
• ストリーミングモデルでは、スライディングウィンドウと適応的サンプリングを用い、最近のデータのコンactな要約を維持してリアルタイムクラスタリングを実現する。
• 外れ値処理は、すべての現在の中心点からの距離が大きい点を除外するペナルティ機構を介して統合される。
• 理論的分析により、リソースが増加するに従い、近似係数が既知の最良の境界に限りなく近づくことが保証される。
• リソースに配慮したチューニングにより、利用可能なメモリと計算能力に応じて、精度を動的に調整できる。

実験結果

リサーチクエスチョン

• RQ1 外部要因を伴う$k$-centerクラスタリングのためのMapReduceアルゴリズムを設計できるか。その近似係数が最適に限りなく近づくか。
• RQ2 このアプローチをストリーミングモデルに拡張できるか。強力な理論的保証を維持できるか。
• RQ3 分散$k$-centerクラスタリングにおける、リソース使用量と近似品質のトレードオフは何か。
• RQ4 同じフレームワーク内で、外れ値ありおよび外れ値なしの両方の状況を効率的に処理できるか。

主な発見

• 提示されたMapReduceアルゴリズムは、十分な計算リソースが確保されれば、最良の近似係数に限りなく近づく。
• ストリーミングアルゴリズムは、限られたメモリで一度のパスでデータを処理しながらも、同程度の近似品質を維持する。
• 外れ値処理はスムーズに統合されており、ノイズや遠く離れた点を除外しても、クラスタリング品質が低下しない。
• アルゴリズムは効率的にスケーリングされ、割り当てられるリソースが増えるに従い性能が向上し、最適解に近づく。