[論文レビュー] DEMON: a Local-First Discovery Method for Overlapping Communities

Michele Coscia, Giulio Rossetti+2 more|arXiv (Cornell University)|Jun 4, 2012

Complex Network Analysis Techniques参考文献 17被引用数 40

ひとこと要約

DEMONは、複雑ネットワークにおける重複コミュニティ検出のためのローカルファーストで決定論的かつインクリメンタルなアルゴリズムである。各ノードのエゴネットワーク上でラベル伝搬を適用し、ノードがその局所的近傍におけるコミュニティに民主的に入札することで、局所的コミュニティを特定し、それらを統合してグローバルな重複パーティションを生成する。実世界のネットワーク、たとえばFacebook、Amazon、IMDbにおいて、コミュニティ品質とメタデータ予測の両面で最先端の手法を上回っている。

ABSTRACT

Community discovery in complex networks is an interesting problem with a number of applications, especially in the knowledge extraction task in social and information networks. However, many large networks often lack a particular community organization at a global level. In these cases, traditional graph partitioning algorithms fail to let the latent knowledge embedded in modular structure emerge, because they impose a top-down global view of a network. We propose here a simple local-first approach to community discovery, able to unveil the modular organization of real complex networks. This is achieved by democratically letting each node vote for the communities it sees surrounding it in its limited view of the global system, i.e. its ego neighborhood, using a label propagation algorithm; finally, the local communities are merged into a global collection. We tested this intuition against the state-of-the-art overlapping and non-overlapping community discovery methods, and found that our new method clearly outperforms the others in the quality of the obtained communities, evaluated by using the extracted communities to predict the metadata about the nodes of several real world networks. We also show how our method is deterministic, fully incremental, and has a limited time complexity, so that it can be used on web-scale real networks.

研究の動機と目的

• 大規模ネットワークにおいてモジュラー構造がスケール上で顕在しない場合に、グローバルでトップダウンなコミュニティ検出の限界を解消すること。
• ローカルノードの視点を活用して、グローバルパーティショニングアルゴリズムよりも効果的に隠れたコミュニティ構造を同定する手法を開発すること。
• Web規模のネットワークに適した決定論的でインクリメンタルかつスケーラブルなアルゴリズムを構築すること。
• ローカルで民主的に行われるノードレベルの判断を統合することで、重複コミュニティ検出の品質を向上させること。
• コミュニティ品質の代理指標としてメタデータ予測を用いて、手法の有効性を評価すること。

提案手法

• 各ノードは自身を除いたエゴネットワークを構築し、局所的近傍を分析する。
• 各エゴネットワーク内でラベル伝搬を適用し、局所的接続に基づいて局所的コミュニティを同定する。
• 各ノードは、自身のエゴネットワークで観察したコミュニティに投票し、局所的コミュニティ割り当てを生成する。
• 局所的コミュニティ割り当てが集約され、グローバルな重複コミュニティ構造に統合される。
• この手法は決定論的かつ完全にインクリメンタルであり、ネットワークの変化に伴う効率的な更新が可能である。
• 発見されたコミュニティの正確性を評価するために、メタデータ予測に基づく品質関数が用いられる。

実験結果

リサーチクエスチョン

• RQ1 ローカルファーストのアプローチは、グローバルでトップダウンなコミュニティ検出アルゴリズムよりも、意味のある重複コミュニティを同定する上で優れているだろうか？
• RQ2 ノードがそのローカルビューに基づいて民主的に入札することで、既存の手法よりも高い品質のコミュニティパーティションが得られるだろうか？
• RQ3 この手法は、決定論的かつインクリメンタルな更新能力を維持しながら、大規模な実世界ネットワークにも効率的にスケーリングできるだろうか？
• RQ4 発見されたコミュニティは、最先端の手法と比較して、ノードのメタデータ予測をどの程度改善するだろうか？
• RQ5 コミュニティは、ソーシャルネットワークや情報ネットワークにおける製品やユーザ行動の証拠によって示される、現実世界の意味的または機能的グループ化をどの程度反映しているだろうか？

主な発見

• DEMONは、CongressおよびIMDbデータセットで最高のコミュニティ品質スコアを達成し、それぞれ1.1792および5.6158を記録し、すべてのベースライン手法を上回った。
• IMDbデータセットでは、次に優れた手法（Infomap）よりもコミュニティ品質スコアで0.4569高い水準を示した。
• ノードメタデータの予測において優れた性能を示し、発見されたコミュニティが意味的に意味のあるものであり、知識抽出に有用であることを示している。
• DEMONは、同じ製品（例：『銃、病原体、および鋼』）に対して、1つは社会的経済的側面に焦点を当て、もう1つは哲学的含みに焦点を当てた、2つの明確に特徴づけられたコミュニティを同定できた。これは、重複的で洗練されたグループ化を捉える能力を示している。
• アルゴリズムは決定論的かつ完全にインクリメンタルであり、大規模ネットワーク、特にWeb規模のグラフへの効率的な更新とスケーラビリティを実現している。
• 民主的でローカルファーストの設計により、トップダウンの制約によってグローバルアルゴリズムが検出できないモジュラー構造を同定できるようになった。