[論文レビュー] Defining and Evaluating Network Communities based on Ground-truth

Jaewon Yang, Jure Leskovec|arXiv (Cornell University)|May 28, 2012

Complex Network Analysis Techniques参考文献 24被引用数 5

ひとこと要約

本論文は、ノードが明示的にコミュニティに所属する（例：ソーシャルグループ、製品カテゴリ）230の実世界ネットワークを用いて、大規模かつ真値に基づくネットワークコミュニティ検出の評価フレームワークを提案する。13種類の構造的コミュニティ定義を評価し、導出度（Conductance）と三辺参加比（Triad-participation-ratio）が一貫して優れた性能を示す。また、スケーラブルでパラメータフリーの局所スペクトル法を提案し、シードベースのコミュニティ検出において、最先端のベースライン比で30%の相対的改善を達成する。

ABSTRACT

Nodes in real-world networks organize into densely linked communities where edges appear with high concentration among the members of the community. Identifying such communities of nodes has proven to be a challenging task mainly due to a plethora of definitions of a community, intractability of algorithms, issues with evaluation and the lack of a reliable gold-standard ground-truth. In this paper we study a set of 230 large real-world social, collaboration and information networks where nodes explicitly state their group memberships. For example, in social networks nodes explicitly join various interest based social groups. We use such groups to define a reliable and robust notion of ground-truth communities. We then propose a methodology which allows us to compare and quantitatively evaluate how different structural definitions of network communities correspond to ground-truth communities. We choose 13 commonly used structural definitions of network communities and examine their sensitivity, robustness and performance in identifying the ground-truth. We show that the 13 structural definitions are heavily correlated and naturally group into four classes. We find that two of these definitions, Conductance and Triad-participation-ratio, consistently give the best performance in identifying ground-truth communities. We also investigate a task of detecting communities given a single seed node. We extend the local spectral clustering algorithm into a heuristic parameter-free community detection method that easily scales to networks with more than hundred million nodes. The proposed method achieves 30% relative improvement over current local clustering methods.

研究の動機と目的

• 実世界のネットワークにおけるノードの明示的所属に基づいてコミュニティメンバーシップを定義することで、ネットワークコミュニティ検出における信頼できる真値の欠如を解消すること。
• 構造的コミュニティ定義を真値コミュニティと比較するための定量的で大規模な評価手法を構築すること。
• 13種類の一般的なコミュニティ検出手法のノイズおよび異なるネットワーク条件下での頑健性と感度を評価すること。
• 単一のシードノードから出発するスケーラブルでパラメータフリーの局所コミュニティ検出手法を設計し、大規模ネットワークに適すること。

提案手法

• ノードが明示的にグループに参加する（例：Orkutの趣味グループ、Amazonの製品共同購入）社会的・共同作業的・情報的ドメインの230の実世界ネットワークを用い、これらを真値コミュニティとして定義する。
• 13種類の構造的コミュニティ定義（例：モジュラリティ、導出度、三辺参加比）を適用し、F1スコアとハンガリアン法を用いたマッチングにより真値と比較する。
• スイープ曲線におけるすべての局所最小値を特定することで、局所スペクトルクラスタリングを拡張し、1つのシードノードから複数のコミュニティを同定する。これにより、パラメータチューニングの必要性がなくなる。
• ランダムウォークと局所スペクトル最適化に基づくパラメータフリーのヒューリスティクスを用い、1億ノードを超えるネットワークへのスケーラビリティを実現する。
• 検出されたコミュニティと真値コミュニティの対応関係を評価するために、F1スコアとハンガリアンマッチングを用い、複数のネットワークタイプにわたる平均スコアを計算する。
• ノイズを導入し、各手法の性能低下を測定することで、感度と頑健性を分析する。

実験結果

リサーチクエスチョン

• RQ1 実世界のネットワークにおいて、どの構造的コミュニティ定義が真値コミュニティを最も正確に回復できるか？
• RQ2 明示的なノードグループ所属に基づいて評価した場合、異なるコミュニティ検出手法の正確性（精度）、再現率、F1スコアはどのように異なるか？
• RQ3 ネットワークのサイズ、密度、ノイズレベルの変化に伴い、コミュニティ検出手法の性能はどのように変化するか？
• RQ4 ランダムウォークとスペクトルスイープに基づくパラメータフリーの局所コミュニティ検出手法は、1つのシードノードから複数のコミュニティを信頼性高く回復できるか？
• RQ5 コミュニティ検出手法は、コミュニティサイズを過大または過小に推定する傾向があるが、そのバイアスに影響を与える要因は何か？

主な発見

• 導出度（Conductance）と三辺参加比（Triad-participation-ratio）は、すべてのネットワークで最高のF1スコアを達成し、平均で0.61および0.62のF1スコアを示し、他の手法を顕著に上回る。
• 提案されたパラメータフリーの局所スペクトル法は、単一のシードノードからコミュニティを検出する際、最先端のベースライン比で30%の相対的改善を達成する。
• モジュラリティ（M）と局所クラスタリング（LC）は、それぞれF1スコアが0.36および0.37にとどまり、コミュニティサイズの著しい過大評価を示す。
• 導出度や三辺参加比のような手法は、精度と再現率のバランスに優れているが、モジュラリティはコミュニティサイズを著しく過大評価する。
• シードノードあたりのコミュニティ数が増えると性能が低下し、LiveJournal や Amazon のようなネットワークでは、単一コミュニティに属するノードがしばしばコミュニティ境界上に位置するため顕著に劣化する。
• 本研究では、13種類の構造的定義が強く相関しており、自然に4つのクラスに分類され、導出度と三辺参加比が真値回復において最も効果的なクラスを形成していることが明らかになった。