[論文レビュー] Comparison and Benchmark of Graph Clustering Algorithms

Lizhen Shi, Bo Chen|arXiv (Cornell University)|May 10, 2020

Complex Network Analysis Techniques参考文献 71被引用数 4

ひとこと要約

本論文は、重み付きおよび重みなしグラフ上で70種類以上のグラフクラスタリングアルゴリズムを包括的にベンチマークし、NMI やモジュラリティなどの標準化された指標を用いて実行時間とクラスタリング品質の両方を評価している。精度の観点ではLouvainとInfomapが最も優れた性能を示し、実行時間の観点ではMCLとLabelRankが優れた効率性を示しており、ネットワーク解析におけるアルゴリズム選定の実用的ガイドラインを提供している。

ABSTRACT

Graph clustering is widely used in analysis of biological networks, social networks and etc. For over a decade many graph clustering algorithms have been published, however a comprehensive and consistent performance comparison is not available. In this paper we benchmarked more than 70 graph clustering programs to evaluate their runtime and quality performance for both weighted and unweighted graphs. We also analyzed the characteristics of ground truth that affects the performance. Our work is capable to not only supply a start point for engineers to select clustering algorithms but also could provide a viewpoint for researchers to design new algorithms.

研究の動機と目的

• 文献において大規模かつ標準化されたベンチマークが不足している状況を踏まえ、70種類以上のグラフクラスタリングアルゴリズムの包括的かつ一貫性のある性能比較を提供すること。
• 重み付きおよび重みなしネットワークを含む多様なグラフタイプにおける実行時間効率とクラスタリング品質の両方を評価すること。
• 真のコミュニティの特性（例えば、コミュニティサイズ、ミキシングパラメータ）がアルゴリズムのパフォーマンスに与える影響を分析すること。
• エンジニアや研究者が実証的パフォーマンスに基づいてアルゴリズムを選定または設計できる実用的リファレンスを提供すること。
• LFRベンチマークとNMI やモジュラリティといった標準化された評価指標を用いた再現可能なベンチマークフレームワークを確立すること。

提案手法

• iGraph、NetworkX、PyCABEM、SNAPなど主要なライブラリに含まれる70種類以上のグラフクラスタリングアルゴリズムを、さまざまなパラメータを設定した合成LFRベンチマークグラフ上で評価した。
• クラスタリング品質と効率性を評価するために、正規化相互情報量（NMI）、モジュラリティ、実行時間を含む標準化された評価指標を用いた。
• ミキシングパラメータ（μ）、コミュニティサイズ、グラフ密度が異なる複数のLFRベンチマークインスタンスにおいてアルゴリズムを評価した。
• すべてのテスト条件において一貫したアルゴリズムパフォーマンス比較が行えるよう、統計的ランク付け（μ値ごとの平均ランク）を適用した。
• 各アルゴリズムについて、さまざまなμ設定におけるNMIランクと実行時間（秒）を示す詳細な表形式で結果を報告した。
• 非重複、無向、重みなしおよび重み付きグラフに焦点を当て、一貫した事前処理および評価プロトコルを適用した。

実験結果

リサーチクエスチョン

• RQ1 さまざまなミキシングパラメータを持つLFRベンチマークグラフにおいて、どのグラフクラスタリングアルゴリズムが最も高いクラスタリング品質（NMIで測定）を達成するか？
• RQ2 グラフサイズや密度が異なる状況下で、グラフクラスタリングアルゴリズムの実行時間パフォーマンスはどのように比較されるか？
• RQ3 コミュニティサイズ分布やミキシングパラメータ（μ）といった真のコミュニティの特性が、クラスタリングアルゴリズムのパフォーマンスにどのように影響を与えるか？
• RQ4 複数のベンチマーク設定において、精度と効率性の両方で常に上位にランクインするアルゴリズムは何か？
• RQ5 テストされたアルゴリズムの間で、正確性（NMI）と計算効率（実行時間）のトレードオフはどのようなものか？

主な発見

• LouvainとInfomapは、LFRベンチマークにおいてすべてのμ値で最も高いNMIスコアを達成し、平均NMIランクはそれぞれ2および4であった。
• MCLとLabelRankは最も速い実行時間パフォーマンスを示し、MCLは大規模グラフで最低の平均実行時間（10秒）を記録した。一方、LabelRankは中規模グラフにおいても非常に高速であった。
• SpectralClustering や AffinityPropagation などのアルゴリズムは、NMIランクが11〜18と高く、実行時間も20秒以上と長く、効率性と正確性のトレードオフが顕著であった。
• OSLOM や InfohierMap のようなアルゴリズムはμに強く依存し、ミキシングパラメータが高くなる（μ > 0.5）とNMIスコアが著しく低下する傾向を示し、コミュニティの重複に敏感であることがわかった。
• TopGC やスキャンベースの手法（例：AnyScan）は、NMIランクが16〜28と高く、実行時間も30秒以上と長く、スケーラビリティに劣ることが明らかになった。
• 本研究では、すべての指標において常に優れたパフォーマンスを示す単一のアルゴリズムは存在しないことが判明した。Louvainは正確性に優れており、MCLとLabelRankはスピードに優れていた。これにより、用途に応じたアルゴリズム選定の重要性が強調された。