[論文レビュー] An Online Hierarchical Algorithm for Extreme Clustering

Ari Kobren, Nicholas Monath+2 more|arXiv (Cornell University)|Apr 6, 2017

Advanced Clustering Algorithms Research参考文献 5被引用数 4

ひとこと要約

Perchは、木の回転を用いてクラスタ純度とバランスを維持することで、大規模なデータセット（N）および大規模なクラスタ数（K）に対して効率的にスケーリングするオンライン階層的クラスタリングアルゴリズムである。分離可能性仮定の下で完全なデンドログラム純度を達成し、特に数百万のクラスタを含む極端なクラスタリング設定において、既存手法を上回る精度と速度を実現する。

ABSTRACT

Many modern clustering methods scale well to a large number of data items, N, but not to a large number of clusters, K. This paper introduces PERCH, a new non-greedy algorithm for online hierarchical clustering that scales to both massive N and K--a problem setting we term extreme clustering. Our algorithm efficiently routes new data points to the leaves of an incrementally-built tree. Motivated by the desire for both accuracy and speed, our approach performs tree rotations for the sake of enhancing subtree purity and encouraging balancedness. We prove that, under a natural separability assumption, our non-greedy algorithm will produce trees with perfect dendrogram purity regardless of online data arrival order. Our experiments demonstrate that PERCH constructs more accurate trees than other tree-building clustering algorithms and scales well with both N and K, achieving a higher quality clustering than the strongest flat clustering competitor in nearly half the time.

研究の動機と目的

• 大規模なクラスタ数（K）を扱う際に困難を抱えるクラスタリングアルゴリズムのスケーラビリティのギャップを解消すること。特にオンラインまたはストリーミング環境において。
• データセットサイズ（N）およびクラスタ数（K）の両方に対して効率的にスケーリングしつつ、高いクラスタリング精度を維持する手法を開発すること。
• インクリメンタルな挿入、回転による誤りの動的是正、複数スケールでの効率的な検索とクラスタリングを可能にする木ベースのクラスタリングアプローチを設計すること。
• 自然な分離可能性仮定の下で、データの到着順に依存しないクラスタリング品質の理論的保証を確保すること。
• 大規模またはオフラインクラスタリングのためのメモリ制限環境への適用を可能にする、リーフの圧縮モードを提供すること。

提案手法

• 新しいデータポイントをリーフにルーティングすることで、時間経過に伴いバイナリクラスタツリーを段階的に構築する。
• 誤ったルーティングを是正し、部分木の純度を向上させる再帰的回転手順を採用し、分離可能性の下で正しいクラスタリングへの収束を保証する。
• 木の浅さを維持し、対数時間オーダーの効率的検索を可能にする、バランス性を重視した回転メカニズムを導入する。
• 内部ノードをバウンディングボックスで表現することで、距離に基づく効率的ルーティングと更新を可能にする。
• クラスタリング品質を保持しつつ、ポイント挿入を高速化する近似技術を適用する。
• メモリ制限環境向けにリーフの圧縮モードをサポートし、メモリに収まらない全データセットでも動作可能にする。

実験結果

リサーチクエスチョン

• RQ1 オンライン階層的クラスタリングアルゴリズムとして、大規模なNおよび大規模なKを伴う極端なクラスタリング設定において、高い精度とスケーラビリティを達成できるか？
• RQ2 非グリーディで回転に基づくアプローチは、データ到着順に強く依存しないという点で、グリーディなインクリメンタルクラスタリングを上回るデンドログラム純度と頑健性を示せるか？
• RQ3 自然な分離可能性仮定の下で、木の回転が、データの到着順に依存せずに完全なデンドログラム純度を保証できるか？
• RQ4 精度と実行時間の観点から、平坦クラスタリングや他の木ベースのクラスタリング手法と比較して、このアルゴリズムの性能はどの程度か？
• RQ5 実際のエンティティ解決やネットワークコミュニティ検出タスクで見られるように、Kが数百万に達するような状況でも、Kのスケーリングはどの程度可能か？

主な発見

• 分離可能性仮定の下で、データの到着順に依存せず、再帰的回転機構のおかげで、Perchは完全なデンドログラム純度を達成する。
• アルゴリズムは、Kが増加するに従い、他のすべての木構築クラスタリングアルゴリズムを上回るデンドログラム純度を実現しながら、高い効率性を維持する。
• Perchは、最も強力な平坦クラスタリングの競合手法よりも、ほぼ半分の時間でより高品質なクラスタリングを構築でき、優れた速度-精度トレードオフを示す。
• 実験的結果から、Perchはクラスタ数Kに対するスケーリングが最も優れており、実世界のデータセットにおいて、既存手法を精度と実行時間の両面で上回る。
• リーフの圧縮モードにより、メモリ制限環境でも効果的なクラスタリングが可能となり、アルゴリズムの適用範囲がオフライン設定にまで拡張される。
• Perchは、BIRCH やミニバッチ凝集的クラスタリングといった最先端のオンライン階層的手法を、クラスタリング品質とスケーラビリティの両面で顕著に上回る。