[論文レビュー] Computing communities in large networks using random walks

Matthieu Latapy, Pascal Pons|arXiv (Cornell University)|Dec 14, 2004

Complex Network Analysis Techniques参考文献 22被引用数 89

ひとこと要約

本稿では、大規模なネットワークにおけるコミュニティ構造を効率的に検出するための、新しいランダムウォークベースの類似度測度を提案する。短いランダムウォークを用いて構造的類似度を捉えることで、O(n² log n) の時間で実行される高速な凝集型クラスタリングアルゴリズムを実現し、最大10万頂点のグラフにおいて、従来手法よりも精度とスケーラビリティの両面で優れている。

ABSTRACT

Dense subgraphs of sparse graphs (communities), which appear in most real-world complex networks, play an important role in many contexts. Computing them however is generally expensive. We propose here a measure of similarities between vertices based on random walks which has several important advantages: it captures well the community structure in a network, it can be computed efficiently, it works at various scales, and it can be used in an agglomerative algorithm to compute efficiently the community structure of a network. We propose such an algorithm which runs in time O(mn^2) and space O(n^2) in the worst case, and in time O(n^2log n) and space O(n^2) in most real-world cases (n and m are respectively the number of vertices and edges in the input graph). Experimental evaluation shows that our algorithm surpasses previously proposed ones concerning the quality of the obtained community structures and that it stands among the best ones concerning the running time. This is very promising because our algorithm can be improved in several ways, which we sketch at the end of the paper.

研究の動機と目的

• 従来の手法が計算的に非現実的となる、大規模でスパースな実世界のネットワークにおけるコミュニティ構造の検出という課題に対処すること。
• スペクトル的手法や高価な固有値分解に依存せずに、頂点間の構造的結束性とコミュニティ所属を捉える類似度測度を開発すること。
• 複数スケールでのコミュニティ検出を可能にし、大規模グラフにおいても効率的な計算を実現する、スケーラブルな階層的凝集型アルゴリズムを設計すること。
• 実行時間のパフォーマンスと検出されたコミュニティの品質の両面で、既存のコミュニティ検出アルゴリズムを改善すること。

提案手法

• ある頂点から出発するランダムウォークが、固定ステップ数以内に別の頂点に到達する確率に基づいて、頂点間の類似度測度を定義する。
• ランダムウォークの遷移確率を構造的類似度の代理として用い、密に接続されたコミュニティ内に留まりやすいという直感を反映する。
• ランダムウォーク類似度に基づいて最も類似した頂点ペアを繰り返し統合する階層的クラスタリングアルゴリズムを構築し、コミュニティ構造のデンドログラムを形成する。
• 各頂点あたり固定回数のランダムウォーク（例：K=1000）による近似を用いてアルゴリズムを最適化し、時間計算量を各頂点あたり O(K(t + log K)) に削減する。
• 離散時間の遷移行列を行列指数に置き換えることで連続時間ランダムウォークを導入し、非整数のウォーク長を可能にし、柔軟性を向上させる。
• 重み付きかつ無向ネットワークへの適用を検討し、重複するコミュニティや有向ネットワークへの拡張可能性についても議論する。

実験結果

リサーチクエスチョン

• RQ1 ランダムウォークベースの類似度測度は、大規模でスパースなネットワークにおけるコミュニティ構造を効果的に捉えることができるか？
• RQ2 Girvan–Newman やニューマンのモジュラリティに基づく手法といった既存のコミュニティ検出アルゴリズムと比較して、本手法は性能と正確性の面で優れているか？
• RQ3 提案手法の計算量的複雑度は何か？また、10万以上の頂点を有する大規模ネットワークにもスケーラブルに適用可能か？
• RQ4 内部および外部のエッジ数がバランスしている状況において、本手法はネットワーク密度やコミュニティサイズの変動にどのように対応するか？特に、内部密度が低い場合のロバストネスは？
• RQ5 本手法は重複するコミュニティの検出や有向ネットワークの処理に拡張可能か？

主な発見

• 提案手法は最悪ケースで O(mn²) の時間で実行され、実世界のスパースなネットワークでは実際には O(n² log n) で実行され、スケーラビリティが著しく向上している。
• 実験的評価により、本手法は従来のアルゴリズム、特に [5] に示された最先端手法よりも高い品質のコミュニティ検出を達成している。特にモジュラリティとコミュニティの結束性の観点で顕著な向上が見られた。
• 内部エッジ数と外部エッジ数がバランスしている場合でも、本手法はコミュニティを正しく検出できており、低内部密度に対してもロバストであることが示された。
• 頂点あたり1000回のランダムウォークによる近似は、精度と効率の良いトレードオフを実現しており、推定誤差は O(1/√K) のスケーリングを示す。
• 連続時間ランダムウォークの拡張により、非整数のウォーク長が可能になり、離散時間の手法に比べて柔軟性が向上し、潜在的に高いパフォーマンスを発揮する可能性がある。
• 本手法は重み付きネットワークにも直接適用可能であり、重複コミュニティの検出についても有望であるが、これは今後の研究課題のまま残っている。