[論文レビュー] Scalable Bottom-Up Hierarchical Clustering.

Nicholas Monath, Avinava Dubey+10 more|arXiv (Cornell University)|Oct 22, 2020

Advanced Clustering Algorithms Research参考文献 74被引用数 5

ひとこと要約

本論文は、複数のサブクラスタを並列に構築することで、古典的な凝集型階層的クラスタリングと比較してラウンド数を1桁削減する、スケーラブルでラウンドベースのボトムアップ階層的クラスタリング手法であるSub-Cluster Component Algorithm (SCC) を提案する。SCCは高品質なフラットクラスタリングおよび階層的クラスタリングを実現し、DP-means目的関数に対して2-近似を達成し、300億点のデータセットにおいて最先端の手法を上回る性能を示す。

ABSTRACT

Bottom-up algorithms such as the classic hierarchical agglomerative clustering, are highly effective for hierarchical as well as flat clustering. However, the large number of rounds and their sequential nature limit the scalability of agglomerative clustering. In this paper, we present an alternative round-based bottom-up hierarchical clustering, the Sub-Cluster Component Algorithm (SCC), that scales gracefully to massive datasets. Our method builds many sub-clusters in parallel in a given round and requires many fewer rounds -- usually an order of magnitude smaller than classic agglomerative clustering. Our theoretical analysis shows that, under a modest separability assumption, SCC will contain the optimal flat clustering. SCC also provides a 2-approx solution to the DP-means objective, thereby introducing a novel application of hierarchical clustering methods. Empirically, SCC finds better hierarchies and flat clusterings even when the data does not satisfy the separability assumption. We demonstrate the scalability of our method by applying it to a dataset of 30 billion points and showing that SCC produces higher quality clusterings than the state-of-the-art.

研究の動機と目的

• 大規模データセットに対してスケーリングが著しく劣る、逐次的でラウンドベースのマージに依存する古典的なボトムアップ階層的クラスタリングのスケーラビリティの制限を解決すること。
• クラスタリングの品質を維持しつつ、必要なラウンド数を大幅に削減する並列化可能なクラスタリング手法を開発すること。
• 分離性仮定の下で理論的保証を提供し、SCCが最適なフラットクラスタリングを含むことを示すこと。
• 階層的クラスタリングを、2-近似によるDP-means目的関数の近似という新しい応用に拡張すること。
• 実世界の大規模データセット、特に300億点のデータセットにおいて、最先端の手法を上回る実験的優位性を示すこと。

提案手法

• SCCはラウンドごとに動作し、各ラウンドで複数のサブクラスタを並列にボトムアップのマージ戦略で構築する。
• アルゴリズムは、データポイントを小さな局所クラスタにグループ化した後、階層的にそれらをマージするサブクラスタリング機構を用いる。
• 古典的な凝集型階層的クラスタリングと比較して、ラウンド数を1桁削減するラウンドベースのアプローチを採用する。
• 理論的分析において分離性仮定を導入し、やや弱い条件下でも最適なフラットクラスタリングを含むことを証明する。
• DP-means目的関数に対して2-近似を達成し、階層的クラスタリングとよく知られたフラットクラスタリング基準の間の新しい理論的接続を提供する。
• データポイントおよびサブクラスタ全体での並列化を活用し、大規模データセットにおける効率的な処理を実現する。

実験結果

リサーチクエスチョン

• RQ1 ラウンド数の削減と並列処理の可能性を備えたボトムアップ階層的クラスタリングアルゴリズムを、大規模データセットに効率的にスケーリング可能に設計できるか？
• RQ2 提案されたSCCアルゴリズムが、最適なフラットクラスタリングを含むことを保証する理論的条件は何か？
• RQ3 SCCはDP-means目的関数をどの程度近似するのか？ そして、この近似は階層的クラスタリングの実用的価値をどのように拡張するか？
• RQ4 実世界の大規模データセットにおいて、SCCのクラスタリング品質は最先端の手法と比べてどの程度優れているか？
• RQ5 分離性仮定を満たさないデータに対しても、SCCは高いクラスタリング品質を維持できるか？

主な発見

• SCCは、古典的な凝集型階層的クラスタリングと比較して、クラスタリングのラウンド数を約1桁削減する。
• やや弱い分離性仮定の下で、SCCは最適なフラットクラスタリングを含むことを示し、強力な理論的保証を提供する。
• SCCはDP-means目的関数に対して2-近似を達成し、階層的クラスタリングとフラットクラスタリングの間の新しい理論的接続を導入する。
• 実験的に、分離性仮定を満たさないデータに対しても、SCCは最先端の手法を上回る高品質なクラスタリングを生成する。
• SCCは300億点のデータセットにも効果的にスケーリングでき、大規模データ処理における実用的妥当性と性能を実証する。