[論文レビュー] Revealing Multiple Layers of Hidden Community Structure in Networks

Kun He, Sucheta Soundarajan+3 more|arXiv (Cornell University)|Jan 23, 2015

Complex Network Analysis Techniques参考文献 16被引用数 27

ひとこと要約

本論文では、強いコミュニティに隠された弱いが意味のあるコミュニティ構造を示す、階層的かつ重複するコミュニティ組織である隠れコミュニティ構造を導入する。提案された HICODE アルゴリズムは、支配的コミュニティ構造を繰り返し除去することで、隠れた層を明らかにする。これは、基線手法と比較して、弱いが意味のあるコミュニティ（例：学生ネットワークにおける「学年」グループ）を検出する際、0.7 の JCRecall を達成するなど顕著に優れている。

ABSTRACT

We introduce a new conception of community structure, which we refer to as hidden community structure. Hidden community structure refers to a specific type of overlapping community structure, in which the detection of weak, but meaningful, communities is hindered by the presence of stronger communities. We present Hidden Community Detection HICODE, an algorithm template that identifies both the strong, dominant community structure as well as the weaker, hidden community structure in networks. HICODE begins by first applying an existing community detection algorithm to a network, and then removing the structure of the detected communities from the network. In this way, the structure of the weaker communities becomes visible. Through application of HICODE, we demonstrate that a wide variety of real networks from different domains contain many communities that, though meaningful, are not detected by any of the popular community detection algorithms that we consider. Additionally, on both real and synthetic networks containing a hidden ground-truth community structure, HICODE uncovers this structure better than any baseline algorithms that we compared against. For example, on a real network of undergraduate students that can be partitioned either by `Dorm' (residence hall) or `Year', we see that HICODE uncovers the weaker `Year' communities with a JCRecall score (a recall-based metric that we define in the text) of over 0.7, while the baseline algorithms achieve scores below 0.2.

研究の動機と目的

• 従来のコミュニティ検出アルゴリズムが、強いコミュニティに隠された弱いが意味のあるコミュニティ構造を正しく同定できないという限界を解消すること。
• 非交差的・重複的・階層的モデルとは異なる、ネットワーク解析における新しいパラダイムとしての隠れコミュニティ構造の概念を提唱すること。
• 支配的コミュニティを繰り返し除去することで、複数のコミュニティ構造の層を明らかにするアルゴリズムフレームワーク HICODE を開発すること。
• 実世界のネットワークに、標準的手法では検出されない高品質な隠れコミュニティ層が存在することを実証的に示すこと。

提案手法

• HICODE は、まず既存のコミュニティ検出アルゴリズムを用いてネットワーク内の支配的コミュニティ構造を同定する。
• 次に、エッジ重みを低下させる、またはネットワーク構造を変更することで、同定された支配的レイヤーの影響を低減する。
• 変更されたネットワークに対して繰り返し処理を実行し、より弱く隠れたコミュニティ構造の次のレイヤーを明らかにする。
• 強いレイヤーが除去された後、各レイヤーを再検出することで、元々マスキングされていたコミュニティを同定可能にする。
• HICODE:Mod、HICODE:WT、HICODE:IM などの異なる実装を含む、複数のベースアルゴリズム（例：モジュラリティ、ウォークトラップ、InfoMap）をサポートする。
• 検出後、NMI や JCF1 などの指標を用いて、検出されたレイヤーと真値との整合性を向上させるための精錬ステップを適用する。

実験結果

リサーチクエスチョン

• RQ1 強いコミュニティに隠された弱いが意味のあるコミュニティ構造を、従来のコミュニティ検出アルゴリズムが信頼性を持って同定できるか。
• RQ2 実世界のネットワークに、標準的手法では検出されない高品質な隠れコミュニティ層がどの程度存在するか。
• RQ3 HICODE フレームワークは、既存の基線手法と比較して、隠れコミュニティ構造をどの程度効果的に回復できるか。
• RQ4 支配的レイヤーを繰り返し除去することで、弱いコミュニティレイヤーの検出精度にどのような影響を与えるか。
• RQ5 HICODE は、多様なネットワークタイプや分野において、真値コミュニティ構造を一貫して回復できるか。

主な発見

• 実際の大学院生ネットワークでは、HICODE が隠れた「学年」コミュニティ層に対して JCRecall スコア 0.7 を超える結果を達成した一方、基線手法は 0.2 未満であった。
• HICODE は、すべての基線重複コミュニティ検出手法を上回り、真値コミュニティの総合的同定において JCF1 スコア 0.584 を達成した。これに対して他の手法は 0.470～0.236 の間であった。
• SynL2 の合成ネットワークでは、HICODE:WT が隠れレイヤーの回復において 68% の正確性（NMI 0.99）を達成し、基線手法を著しく上回った。
• SynL3 では、HICODE の精錬ステップにより、検出されたコミュニティと真値コミュニティの NMI 類似度が最大 210% 向上し、顕著な性能向上が確認された。
• UGrad ネットワークでは、HICODE が「寮」レイヤー（支配的）と「学年」レイヤー（隠れ）の両方を正しく同定でき、HICODE:Mod は精錬後、NMI で 21% の向上を達成した。
• HICODE の性能は、合成ネットワークおよび実世界ネットワークを含む多様なデータセットで安定しており、隠れコミュニティ構造の存在と検出可能性を確認した。