[論文レビュー] Hierarchical Agglomerative Graph Clustering in Poly-Logarithmic Depth

Laxman Dhulipala, David D. Eisenstat+3 more|arXiv (Cornell University)|Jun 23, 2022

Advanced Clustering Algorithms Research被引用数 5

ひとこと要約

本稿では、類似度グラフにおける平均リンクHACに対して、多項式対数的深さとほぼ線形の計算量を達成する、初めての並列階層的凝集型クラスタリングアルゴリズムであるParHACを提案する。これは、Õ(m)の計算量とO(log⁴n)の深さで、(1+ε)-近似を達成し、大規模なグラフのスケーラブルなクラスタリングを可能にする。具体的には、コンmodityマシン上で1240億エッジのグラフを3.5時間未塔で処理可能であり、正確なHACの品質を維持する。

ABSTRACT

Obtaining scalable algorithms for hierarchical agglomerative clustering (HAC) is of significant interest due to the massive size of real-world datasets. At the same time, efficiently parallelizing HAC is difficult due to the seemingly sequential nature of the algorithm. In this paper, we address this issue and present ParHAC, the first efficient parallel HAC algorithm with sublinear depth for the widely-used average-linkage function. In particular, we provide a $(1+ε)$-approximation algorithm for this problem on $m$ edge graphs using $ ilde{O}(m)$ work and poly-logarithmic depth. Moreover, we show that obtaining similar bounds for exact average-linkage HAC is not possible under standard complexity-theoretic assumptions. We complement our theoretical results with a comprehensive study of the ParHAC algorithm in terms of its scalability, performance, and quality, and compare with several state-of-the-art sequential and parallel baselines. On a broad set of large publicly-available real-world datasets, we find that ParHAC obtains a 50.1x speedup on average over the best sequential baseline, while achieving quality similar to the exact HAC algorithm. We also show that ParHAC can cluster one of the largest publicly available graph datasets with 124 billion edges in a little over three hours using a commodity multicore machine.

研究の動機と目的

• 階層的凝集型クラスタリング（HAC）は本質的に逐次的であるため、長年の課題であった並列化の挑戦に応えること。
• 高品質なクラスタリングを維持しつつ、部分線形の深さとほぼ線形の計算量を達成する並列HACアルゴリズムの設計。
• 類似度グラフにおける平均リンクHACに対して、多項式対数的深さを有する最初の(1+ε)-近似HACアルゴリズムを提供すること。
• 実世界および合成データセット、特に数十億エッジを含むグラフを対象とした、実用的なスケーラビリティと品質の評価。
• 標準の計算複雑性仮定のもとで、類似した境界を満たす正確な平均リンクHACの並列化には限界があることを理論的に示すこと。

提案手法

• 各点を頂点とし、非ゼロの類似度を辺で表す類似度グラフ表現を採用することで、入力サイズをO(n²)からO(m)に削減する。
• 複数のマージ決定を同時に処理できるように、クラスタ間類似度を効率的に維持・更新するための新しい並列データ構造を導入する。
• 再帰的なクラスタリング戦略を用いてグラフを階層的に分解し、(1+ε)-近似保証を尊重する。
• 完全な類似度行列を格納せずに、ランダムサンプリングとスパarsification技術を活用して、近似されたクラスタ類似度を維持する。
• 作業-深さモデルを用いて性能を分析し、高確率でÕ(m)の期待計算量とO(log⁴n)の深さを保証する。
• 依存関係の鎖を最小限に抑えるために、動的プライオリティキュー抽象化を活用して、並列的に次のマージ操作を選択する。

実験結果

リサーチクエスチョン

• RQ1 階層的凝集型クラスタリングは、高品質なクラスタリングを維持したまま、多項式対数的深さを達成するように並列化可能だろうか？
• RQ2 平均リンククラスタリングに対して、ほぼ線形の計算量と部分線形の深さを満たす(1+ε)-近似HACアルゴリズムを設計可能だろうか？
• RQ3 標準の計算複雑性仮定のもとで、正確な平均リンクHACの並列化にはどのような理論的限界があるだろうか？
• RQ4 提案された並列アルゴリズムの品質と性能は、逐次的および既存の並列ベースラインと比較してどうなるだろうか？
• RQ5 本アルゴリズムは、1000億エッジを超える大規模なグラフを、コンmodityハードウェア上でスケーラブルに処理できるだろうか？

主な発見

• ParHACは、幅広い実世界データセットにおいて、最良の逐次ベースラインと比較して平均50.1倍の高速化を達成しながら、正確なHACと同等のクラスタリング品質を維持する。
• アルゴリズムは高確率でÕ(m)の期待計算量とO(log⁴n)の深さを達成し、計算効率が高く、並列処理に適している。
• ParHACは、コンmodityマルチコアマシン上で1240億エッジのグラフを3.5時間未塔で処理し、実用的なスケーラビリティを実証した。
• 本手法は平均リンクHACに対して(1+ε)-近似を提供し、各段階でのマージ決定が最適解の(1+ε)倍以内であることを保証する。
• 理論的分析により、類似した境界を満たす正確な平均リンクHACの並列化は、標準の計算複雑性仮定のもとでは不自然であることが示され、近似の必要性が強調された。
• 合成データ、UCI、GeoLife、CHEMを含む多様なデータセットにおける実験的評価により、ARI、NMI、Dasguptaコストといった複数の指標で一貫した高品質な結果が確認された。