[論文レビュー] Accelerating Community Detection by Using K-core Subgraphs

Chengbin Peng, Tamara G. Kolda+1 more|arXiv (Cornell University)|Mar 10, 2014

Complex Network Analysis Techniques参考文献 37被引用数 47

ひとこと要約

本稿では、高価なアルゴリズムをKコア部分グラフにのみ適用し、残りのノードには高速ヒューリスティクスを用いてラベルを割り当てるKコアベースのフレームワークを提案する。実験の結果、複数の実世界のグラフと評価指標において、実行時間の最大90％の短縮が達成され、同時に解の品質も維持された。

ABSTRACT

Community detection is expensive, and the cost generally depends at least linearly on the number of vertices in the graph. We propose working with a reduced graph that has many fewer nodes but nonetheless captures key community structure. The K-core of a graph is the largest subgraph within which each node has at least K connections. We propose a framework that accelerates community detection by applying an expensive algorithm (modularity optimization, the Louvain method, spectral clustering, etc.) to the K-core and then using an inexpensive heuristic (such as local modularity maximization) to infer community labels for the remaining nodes. Our experiments demonstrate that the proposed framework can reduce the running time by more than 80% while preserving the quality of the solutions. Recent theoretical investigations provide support for using the K-core as a reduced representation.

研究の動機と目的

• グラフサイズに比例して計算コストが上昇するコミュニティ検出アルゴリズムの高コスト問題に対処する。
• 計算をより小さな構造的に代表的な部分グラフに集中させることで、実行時間を短縮しつつ解の品質を損なわない。
• Kコアが密な内部接続を維持する性質を活用し、縮小されたグラフにおけるコミュニティ構造を保持する。
• 既存のコミュニティ検出手法およびパフォーマンス最適化実装と互換性を持つスケーラブルなフレームワークを開発する。
• Kコアをネットワークにおけるコミュニティ構造の縮小表現として用いる理論的根拠を提供する。

提案手法

• K未満の次数を持つノードを再帰的に削除することで、入力グラフのKコアを特定する。
• 高価なコミュニティ検出アルゴリズム（例：モジュラリティ最適化、Louvain、スペクトルクラスタリング）をKコア部分グラフにのみ適用する。
• Kコアへの接続に基づいて、Kコア外のノードにコミュニティラベルを割り当てる高速ヒューリスティクス（例：局所的モジュラリティ最大化）を用いる。
• Kコアの結果と高速ラベリングヒューリスティクスを統合して、完全なグラフのコミュニティ割り当てを最適化する。
• 均一な次数および相関の仮定の下で、モジュラリティがKコアでも保存されることを示す理論的結果を活用する。
• コミュニティ構造の保存とノード削除に対するロバストネスに関する理論的知見を用いて、最適なK値を選択する。

実験結果

リサーチクエスチョン

• RQ1 Kコア部分グラフは、ネットワークの本質的なコミュニティ構造を保持しつつ、そのサイズを顕著に縮小できるか？
• RQ2 Kコアに計算を制限することで、コミュニティ検出アルゴリズムの実行をどの程度高速化できるか、解の品質が劣化しない範囲で？
• RQ3 Kの選択が、実行時間の短縮とコミュニティ構造の保存のトレードオフにどのように影響するか？
• RQ4 コミュニティ検出をKコアで行う場合、完全なグラフで実行した場合と同じ結果が得られるための理論的条件は何か？
• RQ5 Kコア計算と高速ラベリングヒューリスティクスを組み合わせたハイブリッドフレームワークは、高い効率性と高い正確性を両立できるか？

主な発見

• 提案されたフレームワークは、平均で80％以上の実行時間短縮が達成され、一部のケースでは最大90％の短縮が実現した。解の品質は維持または向上した。
• ego-Facebookネットワークでは、K=40のコアに対してモジュラリティ最適化を実行したことで、ベースライン（876秒）の20％未満の実行時間（約170秒）にまで短縮され、ノードの20％、エッジの50％が残存した。
• Kコアの解におけるモジュラリティ値は、常に全グラフ検出の結果以上であり、品質の維持が裏付けられた。
• 理論的分析により、真のコミュニティ構造が全グラフ上でモジュラリティを最大化する場合、均一な次数および相関の仮定の下では、Kコア上でも同様にモジュラリティが最大化されることを証明した。
• フレームワークは、複数の指標（モジュラリティ、正規化カット、NMI）において、多様な実世界ネットワークで性能を維持した。
• Kコアアプローチは、マルチスレーディングやノード属性の統合といった既存の最適化と併用可能であり、さらなるスケーラビリティを実現できる。