[論文レビュー] A Unified Framework for Community Detection and Network Representation Learning

Cunchao Tu, Xiangkai Zeng+6 more|arXiv (Cornell University)|Nov 21, 2016

Complex Network Analysis Techniques参考文献 58被引用数 4

ひとこと要約

本稿では、コミュニティ構造をグローバルパターンとして活用することで、頂点とコミュニティの埋め込みを統合的に学習する、コミュニティ強化型ネットワーク表現学習（CNRL）を提案する。ネットワークとテキストの類似性に着想を得て、ランダムウォークシーケンスに対してトピックモデリングを適用することで、重複するコミュニティを検出するとともに、頂点表現を強化し、実世界のデータセットにおいてリンク予測、頂点分類、コミュニティ検出の各タスクで顕著な性能向上を達成した。

ABSTRACT

Network representation learning (NRL) aims to learn low-dimensional vectors for vertices in a network. Most existing NRL methods focus on learning representations from local context of vertices (such as their neighbors). Nevertheless, vertices in many complex networks also exhibit significant global patterns widely known as communities. It's intuitive that vertices in the same community tend to connect densely and share common attributes. These patterns are expected to improve NRL and benefit relevant evaluation tasks, such as link prediction and vertex classification. Inspired by the analogy between network representation learning and text modeling, we propose a unified NRL framework by introducing community information of vertices, named as Community-enhanced Network Representation Learning (CNRL). CNRL simultaneously detects community distribution of each vertex and learns embeddings of both vertices and communities. Moreover, the proposed community enhancement mechanism can be applied to various existing NRL models. In experiments, we evaluate our model on vertex classification, link prediction, and community detection using several real-world datasets. The results demonstrate that CNRL significantly and consistently outperforms other state-of-the-art methods while verifying our assumptions on the correlations between vertices and communities.

研究の動機と目的

• 既存のネットワーク表現学習（NRL）手法が局所的構造パターンにのみ焦点を当てているという制限を克服し、グローバルなコミュニティ構造を統合すること。
• コミュニティ検出と強化された頂点表現の学習を同時に実行する統合フレームワークの開発。
• リンク予測、頂点分類、コミュニティ検出などの下流タスクにおける性能向上。
• コミュニティ構造が頂点の意味的意味と相関しており、表現品質を向上させることの仮説を検証すること。

提案手法

• CNRLは、ランダムウォークシーケンスをドキュメント、頂点を単語とみなすことで、コミュニティをトピックとして扱うネットワーク表現学習をモデル化する。
• 各頂点の重複するコミュニティメンバーシップを推定するために、ランダムウォークシーケンスにトピックモデリング（例：LDA）を適用する。
• 局所的文脈とグローバルなコミュニティパターンの両方を捉える確率的モデルを用いて、頂点埋め込みとコミュニティ埋め込みを同時に最適化する。
• 隣接頂点に基づく文脈とコミュニティに基づく意味的信号を組み合わせることで、コミュニティ強化型頂点表現を学習する。
• DeepWalk や node2vec などの既存のランダムウォークベースNRLモデルと互換性があり、プラグイン統合が可能である。
• コミュニティ割り当ては、頂点 v とコミュニティ c に対して後方確率 Pr(v|c) から導出され、しきい値を用いて関連するコミュニティを特定する。

実験結果

リサーチクエスチョン

• RQ1 コミュニティ構造は、ネットワーク表現学習を向上させる意味のあるグローバルパターンとして機能するか？
• RQ2 コミュニティ情報は、既存のNRLフレームワークに効果的に統合され、表現品質を向上させることができるか？
• RQ3 テキストモデリング（単語、ドキュメント、トピック）とネットワークモデリング（頂点、ランダムウォーク、コミュニティ）の類似性は、実際のNRL向上において成り立つか？
• RQ4 提案されたフレームワークは、重複するコミュニティを同時に検出し、高品質な頂点埋め込みを統合的に学習できるか？
• RQ5 コミュニティ強化表現は、リンク予測や頂点分類などの下流タスクにおいて、どの程度性能を向上させるか？

主な発見

• CNRLは、複数の実世界データセットにおいて、最先端のNRL手法を顕著に上回る性能を示し、頂点分類、リンク予測、コミュニティ検出の各タスクで優れた結果を得た。
• コミュニティ強化表現により、より意味的に関連性の高い近隣頂点が得られる。例えば、CoraにおいてはCNRLは「タンパク質」と「確率的ネットワーク」に関連する近隣を検索するが、DeepWalkは関連のないものを検索する。
• コミュニティ割り当ては意味的に意味を持つ：例えばCoraにおいては、「隠れマルコフモデル」「ケースベース推論」「ニューラルネットワーク」といった明確に区別された分野に対応する。
• 本手法は、複数スケールにわたり重複コミュニティを効果的に検出でき、各コミュニティの代表語が明確に異なる研究トピックを反映している。
• フレームワークは、コミュニティ構造と頂点の意味的意味の間に強い相関関係があることを示し、テキストとネットワークモデリングの核心的な類似性を裏付けた。
• 定量的結果から、すべての評価タスクで一貫した向上が確認され、局所的表現学習にグローバルなコミュニティパターンを統合することが有効であることが確認された。