[論文レビュー] Active Community Detection in Massive Graphs

Heng Wang, Da Zheng+2 more|arXiv (Cornell University)|Dec 30, 2014

Complex Network Analysis Techniques参考文献 23被引用数 4

ひとこと要約

本稿では、局所性統計を用いて最初に最も活発な頂点を特定し、その後それらの頂点にのみクラスタリングを施すことにより、大規模グラフにおけるアクティブコミュニティをスケーラブルに検出するフレームワークを提案する。本手法は、全局所性統計の一部しか計算しない並列化可能なトリミングアルゴリズムを用いることで高い効率性を達成し、35億頂点、1280億エッジを有するウェブグラフに対しても成功裏にコミュニティ検出を実行した。

ABSTRACT

A canonical problem in graph mining is the detection of dense communities. This problem is exacerbated for a graph with a large order and size -- the number of vertices and edges -- as many community detection algorithms scale poorly. In this work we propose a novel framework for detecting active communities that consist of the most active vertices in massive graphs. The framework is applicable to graphs having billions of vertices and hundreds of billions of edges. Our framework utilizes a parallelizable trimming algorithm based on a locality statistic to filter out inactive vertices, and then clusters the remaining active vertices via spectral decomposition on their similarity matrix. We demonstrate the validity of our method with synthetic Stochastic Block Model graphs, using Adjusted Rand Index as the performance metric. We further demonstrate its practicality and efficiency on a most recent real-world Hyperlink Web graph consisting of over 3.5 billion vertices and 128 billion edges.

研究の動機と目的

• 数十億規模のグラフにおいて、従来のコミュニティ検出アルゴリズムが計算的に非現実的である問題に対処すること。
• 大規模ネットワーク全体の頂点ではなく、最も活発な頂点によって形成される高密度のアクティブコミュニティに焦点を当てる。
• 全グラフを処理せずに、トップの活発な頂点を効率的に同定できる、スケーラブルで並列化可能なトリミングアルゴリズムを開発すること。
• 実世界の大規模グラフデータセット（例：ハイパーリンクウェブグラフ）において、フレームワークの実用性と有効性を実証すること。
• 数十億ノードのグラフにおいてスケーリングが著しく劣る既存のスペクトル法およびモジュラリティベースの手法に対する、計算的に効率的な代替手法を提供すること。

提案手法

• フレームワークは、kホップ近傍内での共通の隣接頂点数として定義される局所性統計を用いて頂点の活動度を測定する。
• 並列化可能なトリミングアルゴリズムにより、局所性統計を頂点のサブセットに対してのみ計算し、最も値の高い頂点を抽出して縮小されたアクティブ頂点集合を形成する。
• 処理対象の頂点数に対して、時間計算量が線形未満となるため、顕著な高速化が達成される。
• アクティブ頂点は、ジャカード係数を用いて計算された類似度行列に基づきスペクトルクラスタリングによりクラスタリングされる。
• 本手法は、35億頂点および1280億エッジを有する実世界のハイパーリンクウェブグラフに適用された。
• 可視化のため、アクティブ頂点は2次元空間に古典的多次元スケーリング（MDS）を用いて投影された。

実験結果

リサーチクエスチョン

• RQ1 全頂点を処理せずに、局所性統計に基づくアプローチが、大規模グラフにおいて最も活発な頂点を効果的に同定できるか。
• RQ2 並列化可能なトリミングアルゴリズムは、アクティブコミュニティの構造を保持しつつ、頂点集合をどの程度効率的に縮小できるか。
• RQ3 構造が事前に分かっている合成グラフにおいて、本フレームワークは高いクラスタリング精度を維持するか。
• RQ4 本フレームワークは、ハイパーリンクウェブグラフのような実世界の大規模グラフにおいて、意味的でトピック的に一貫性のあるコミュニティを検出できるか。
• RQ5 トリミング段階で処理する頂点数を変化させた場合、計算コストとクラスタリング性能のトレードオフはどのようなものか。

主な発見

• トリミングアルゴリズムは、全頂点の局所性統計を計算するのに要する時間の3.7%で、上位10,000件の局所性統計値を計算した。これは非線形スケーリングを達成した。
• ハイパーリンクグラフにおいて、本手法は、ソーシャルメディア、オンラインショッピング、アダルトコンテンツサイトなど、意味的に明確な5つのアクティブコミュニティを効果的に同定した。
• コミュニティ2（最大のコミュニティで1,603頂点）は、1つのアダルトレベルドメインウェブサイトからのハイパーリンクによって形成されており、構造的整合性が確認された。
• 本フレームワークは、構造が事前に分かっている合成スチューディオックブロックモデル（SBM）グラフにおいても高いパフォーマンスを発揮した。調整ランダ指数（Adjusted Rand Index）がクラスタリング品質の有効な指標として使用された。
• 本手法は、最大35億頂点および1280億エッジのグラフにスケーリング可能であり、実際の公開データに対してこの規模でコミュニティ検出を実行した最初のフレームワークである。
• アクティブ頂点にのみ注目することで計算負荷を大幅に削減でき、上位10,000のアクティブ頂点を同定するには、全体の0.00032%の頂点の局所性統計計算で十分であった。