[論文レビュー] Scaling Fine-grained Modularity Clustering for Massive Graphs

Hiroaki Shiokawa, Toshiyuki Amagasa+1 more|arXiv (Cornell University)|May 27, 2019

Complex Network Analysis Techniques参考文献 22被引用数 4

ひとこと要約

この論文では、LRM-ゲインキャッシュと段階的サブグラフ折りたたみを用いて、不要なノードやエッジを動的に pruning する高効率なアルゴリズム gScarf を提案する。これは、状態下での速度を達成しながら、CorMod と同等のクラスタリング精度を維持し、尤度比モジュラリティ最大化によって解像度制限問題を回避する。

ABSTRACT

Modularity clustering is an essential tool to understand complicated graphs. However, existing methods are not applicable to massive graphs due to two serious weaknesses. (1) It is difficult to fully reproduce ground-truth clusters due to the resolution limit problem. (2) They are computationally expensive because all nodes and edges must be computed iteratively. This paper proposes gScarf, which outputs fine-grained clusters within a short running time. To overcome the aforementioned weaknesses, gScarf dynamically prunes unnecessary nodes and edges, ensuring that it captures fine-grained clusters. Experiments show that gScarf outperforms existing methods in terms of running time while finding clusters with high accuracy.

研究の動機と目的

• 大規模グラフにおけるモジュラリティクラスタリングの解像度制限問題に対処すること。これは、粗い粒度のクラスタを生じさせる。
• 特に数十億エッジを持つグラフに対して、既存のモジュラリティクラスタリング手法の高い計算コストを低減すること。
• CorMod の高いクラスタリング品質を維持しつつ、実行時間を大幅に向上させる効率的なアルゴリズムを開発すること。
• ユーザーが指定するパrameterなしに、実世界の大規模グラフにおける細粒度モジュラリティクラスタリングの実用的導入を可能にすること。

提案手法

• gScarf は、クラスタ品質の効率的かつ段階的な計算を可能にする、尤度比モジュラリティ（LRM）の段階的形態である LRM-ゲインを導入する。
• LRM の決定的性質に基づく LRM-ゲインキャッシュを採用し、同一の構造的性質を持つクラスタに対して再計算を回避する。
• ノードとエッジの動的統合を可能にする段階的サブグラフ折りたたみを用いて、クラスタリング中の探索空間を削減する。
• 現在のクラスタリングを改善できないノードやエッジの LRM-ゲイン計算をスキップする決定的プルーニングを適用する。
• この手法は CorMod のグリーディ LRM 最大化と同等であるように設計されており、クラスタリング品質の損失がないことを保証する。
• LRM-ゲインおよび折りたたみ操作におけるインデグリとアウトグリを別々に考慮するように度数計算を変更することで、有向グラフをサポートする。

実験結果

リサーチクエスチョン

• RQ1 状態下の手法と比較して精度を犠牲にすることなく、大規模グラフにおける細粒度モジュラリティクラスタリングを達成できるか？
• RQ2 大規模グラフにおける LRM 最大化の計算コストを低減しつつ、真のクラスタサイズを検出できる能力を維持できるか？
• RQ3 モジュラリティを向上させる機会を逃さずに、LRM-ベースクラスタリングに適用可能な動的プルーニング戦略は何か？
• RQ4 LRM-ゲインは段階的に計算可能で、キャッシュによって大規模グラフにおけるクラスタリングを効率化できるか？
• RQ5 提案手法は、さまざまなグラフサイズおよび構造的複雑さ、特に高いミキシングパラメータ下でもスケーリング可能か？

主な発見

• gScarf は実世界のグラフ（YT、LJ、OK）において、Louvain や IncMod よりも高い NMI スコアを達成し、CorMod の性能に近づくかわずかに上回る。
• LFRベンチマークグラフ（さまざまなミキシングパラメータ mu）において、mu = 0.9 でさえも高い NMI スコアを維持するが、他の手法は著しく劣化する。
• 最大 10^7 個のノードを有する大規模グラフにおいても、gScarf は他の手法を一貫して上回り、スケールに強く対応している。
• gScarf は実グラフおよび合成グラフの両方で真のクラスタサイズを正確に再現しており、解像度制限問題を回避できる能力を確認した。
• gScarf は CorMod や他の状態下の手法よりも著しく高速に実行され、理論的時間計算量は O(nm log n) よりも低い。
• gScarf の LRM-ゲインキャッシュおよび段階的折りたたみ技術により、理論的補題によって改善機会を逃さないことが保証され、クラスタリング品質に損失がない。