[論文レビュー] Community Detection by Information Flow Simulation

Rajagopal Venkatesaramani, Yevgeniy Vorobeychik|arXiv (Cornell University)|May 13, 2018

Complex Network Analysis Techniques参考文献 17被引用数 3

ひとこと要約

本稿では、有向かつ重み付きグラフにおける情報フローのシミュレーションによって、エッジを確率的パスとしてモデル化することで、高速でスケーラブルなコミュニティ検出アルゴリズムを提案する。時間計算量と空間計算量が$Ó(|E|)$であり、YouTube や Wikipedia などの大規模ネットワークにおいて、MCL よりも高速かつ高精度に動作する。MCL はこれらのネットワークではスケーリングに失敗する。

ABSTRACT

Community detection remains an important problem in data mining, owing to the lack of scalable algorithms that exploit all aspects of available data - namely the directionality of flow of information and the dynamics thereof. Most existing methods use measures of connectedness in the graphical structure. In this paper, we present a fast, scalable algorithm to detect communities in directed, weighted graph representations of social networks by simulating flow of information through them. By design, our algorithm naturally handles undirected or unweighted networks as well. Our algorithm runs in $\mathcal{O}(|E|)$ time, which is better than most existing work and uses $\mathcal{O}(|E|)$ space and hence scales easily to very large datasets. Finally, we show that our algorithm outperforms the state-of-the-art Markov Clustering Algorithm (MCL) in both accuracy and scalability on ground truth data (in a number of cases, we can find communities in graphs too large for MCL).

研究の動機と目的

• ソーシャルネットワークにおける情報フローの方向性とダイナミクスを活用する、スケーラブルなコミュニティ検出アルゴリズムの不足を解消すること。
• 静的で接続性に基づく指標に依存する従来の手法の限界を克服し、大規模で現実世界のネットワークにスケーリングできない問題を解決すること。
• 動的でフローに基づくアプローチを構築し、無向かつ重みなしネットワークに対しても自然に適応可能にしながら、高い性能を維持すること。
• 非常に大規模なデータセット（例：Facebook や YouTube、Wikipedia からのもの）の処理を可能にするために、線形時間および線形空間計算量を達成すること。
• 特に複雑なコミュニティ構造を示す課題のデータセットにおいても、MCL や他の最先端手法に比べて優れた精度とスケーラビリティを示すことを実証すること。

提案手法

• エッジの重みがノード間の情報フロー確率を反映する有向かつ重み付きグラフとして、ソーシャルネットワークを表現する。
• エッジを確率的転送パスとして扱い、ノードごとに情報フローのシミュレーションを実行する。スパース行列ではなく、動的データ構造を用いる。
• ランダム化された反復プロセスを用いてフロー伝搬をシミュレートし、情報の出発源として機能する影響力のあるノードを特定する。
• フロー収束に基づくクラスタリング機構を適用し、共通の情報源から顕著な情報フローを受け取るノードをグループ化する。
• スモールワールド効果およびコミュニティ構造の性質を活用し、期待される実行時間を制限し、効率性を保証する。
• 線形時間計算量（$Ó(|E|)$）および線形空間使用量（$Ó(|E|)$）を保証することで、数百万エッジを持つ大規模グラフの処理を最適化する。

実験結果

リサーチクエスチョン

• RQ1 有向かつ重み付きグラフにおける情報フローのシミュレーションは、線形時間および線形空間計算量を維持しつつ、コミュニティ検出に効果的に機能するか？
• RQ2 実世界の大規模ネットワークにおいて、本手法は MCL と比較して精度とスケーラビリティの点でどの程度優れているか？
• RQ3 先行手法（MCL を含む）が意味のあるコミュニティ構造を検出できないとされるデータセットにおいて、本手法はどの程度の性能を示すか？
• RQ4 異なるネットワークタイプやクラスターサイズにおいて、本手法の性能指標（例：偽陽性・偽陰性率、コンductance）はどのように変化するか？
• RQ5 真のラベルが入手できない状況において、パラメータ$k$を用いてコミュニティのサイズや密度に応じて効果的にチューニング可能か？

主な発見

• 本手法は$Ó(|E|)$の時間および空間計算量を達成しており、2850万エッジを持つ Wikipedia データセットなど、最大2850万エッジのグラフ処理が可能である。
• 以前はコミュニティ検出に挑戦的とされた YouTube データセットにおいて、本手法は不偏サンプリングを用いて偽陽性率 0.15、偽陰性率 0.02未満を達成した。
• DBLP および Email Eu Core ネットワークにおいて、MCL がより低いコンductanceスコアを達成しているにもかかわらず、本手法は精度で MCL を上回った。これはコンductance が唯一の信頼できる指標ではないことを示唆している。
• Wikipedia ネットワーク（2850万エッジ）では、本手法が 3 時間 4 分で処理を完了したが、MCL はスケーリングに失敗し、処理を完了できなかった。
• YouTube ネットワーク（598万エッジ）では、本手法が 1 時間 7 分で処理を完了したが、MCL はスケーリングに失敗し、データセットを処理できなかった。
• 本手法の実行時間はエッジ数に対してほぼ線形に増加し、定理 5.4 で導出された理論的上限と一致している。