[論文レビュー] A Practical Algorithm for Distributed Clustering and Outlier Detection

Jiecao Chen, Erfan Sadeqi Azer+1 more|arXiv (Cornell University)|May 24, 2018

Anomaly Detection Techniques and Applications参考文献 18被引用数 5

ひとこと要約

本稿では、新たな1ラウンド要約構築手法を用いて、通信量と実行時間を効率化した分散クラスタリング（外れ値を含む）の実用的で通信・時間効率の高いアルゴリズムを提案する。理論的近似保証を達成し、実データおよび合成データセットにおいて、クラスタリング品質、外れ値検出、通信コスト、実行時間の面でベースラインを上回る性能を発揮する。

ABSTRACT

We study the classic $k$-means/median clustering, which are fundamental problems in unsupervised learning, in the setting where data are partitioned across multiple sites, and where we are allowed to discard a small portion of the data by labeling them as outliers. We propose a simple approach based on constructing small summary for the original dataset. The proposed method is time and communication efficient, has good approximation guarantees, and can identify the global outliers effectively. To the best of our knowledge, this is the first practical algorithm with theoretical guarantees for distributed clustering with outliers. Our experiments on both real and synthetic data have demonstrated the clear superiority of our algorithm against all the baseline algorithms in almost all metrics.

研究の動機と目的

• 大規模かつパーティショニングされたデータセットにおけるスケーラブルで効率的な分散クラスタリングと外れ値検出の課題に取り組む。
• 1ラウンド通信に限定したコーディネータモデルにおいて、通信および計算のオーバーヘッドを最小限に抑える。
• クラスタリング目的関数および外れ値同定の両方に対して理論的近似保証を確保する。
• 分散環境下でも高いクラスタリング精度を維持しつつ、グローバルな外れ値を効果的に検出する。
• 大規模データセットにスケーリング可能であり、実世界および合成ベンチマークで既存手法を上回る性能を発揮する実用的アルゴリズムを設計する。

提案手法

• 各サイトでボール成長ヒューリスティクスを用いて、潜在的なクラスタ中心および外れ値を特定する軽量な要約を構築する。
• 1ラウンド通信モデルを採用し、各サイトが要約のみをコーディネータに送信することで通信コストを最小限に抑える。
• 統合された要約を基に集中型クラスタリングアルゴリズムを適用し、最終的なクラスタ中心を計算するとともに外れ値をラベル付ける。
• 理論的境界を活用し、敵対的パーティショニングでは要約サイズが O(k log n + t)、ランダムパーティショニングでは O(k log n + t/s) であることを保証する。
• 高次元データの効率維持のため、次元削減（例：ジョンソン＝リンデンストラウス補題）を統合する。
• 2段目のアルゴリズムが問題を γ-近似する場合、最終的な解が最適解の O(γ)-近似となることを保証する。

実験結果

リサーチクエスチョン

• RQ1 外れ値を含む (k,t)-ミーンズ/ミディアン問題に対して、理論的保証を備えた実用的分散クラスタリングアルゴリズムを設計できるか？
• RQ2 1ラウンド分散環境下で、クラスタリング品質を損なわずに通信コストと計算コストを最小限に抑える方法は何か？
• RQ3 このアルゴリズムは、分散データパーティション全体にわたるグローバルな外れ値をどの程度効果的に同定できるか？
• RQ4 既存手法と比較して、要約構築法のスケーラビリティ、正確性、効率性の観点から、どのような差異が生じるか？
• RQ5 実世界のデータセットに対して実用的である一方で、強い理論的近似保証を維持できるか？

主な発見

• 提案されたボール成長アルゴリズムは、クラスタリング損失、適合率、再現率、外れ値検出品質のすべての指標で最良の性能を発揮する。
• ボール成長、k-means++、rand の通信コストはサイト数にほとんど依存しないが、k-means‖ は20のサイトで通信コストが20倍に増加する（複数ラウンド通信による）。
• ボール成長は平均で k-means‖ より25倍速く、k-means++ より7倍速く実行され、実行時間は要約サイズに線形に増加する。
• アルゴリズムは高い安定性を示し、繰り返し実験における標準偏差が低く抑えられている（例：ボール成長の ℓ₁-損失標準偏差は 1.1E4）。
• k-means‖ と k-means++ は rand より外れ値検出で優れているが、ボール成長は適合率および再現率の両面で、すべてのベースラインを著しく上回る。
• 2段目のクラスタリングが γ-近似である場合、最終的な解が最適解の O(γ)-近似となることが保証され、強力な理論的保証を有する。