[論文レビュー] CONE: Community Oriented Network Embedding

Carl Yang, Hanqing Lu+1 more|arXiv (Cornell University)|Sep 5, 2017

Complex Network Analysis Techniques参考文献 34被引用数 5

ひとこと要約

CONEは、少数のラベル付きコミュニティを監視として活用することで、従来のエッジ密度やノード同質性の仮定を超え、複雑で曇った、変動するコミュニティ構造を捉えるコミュニティ指向のネットワーク埋め込み手法を提案する。コンテンツと構造的パターンを組み合わせてモデル化するため、グラフのランダムウォークとRNNを統合し、一般化されたクラスタリングによって、特にハッシュタグや生テキストのような高次元でノイジーなコンテンツを持つネットワークにおいて、ラベルなしコミュニティをより高い精度で検出できる埋め込みを生成する。

ABSTRACT

Detecting communities has long been popular in the research on networks. It is usually modeled as an unsupervised clustering problem on graphs, based on heuristic assumptions about community characteristics, such as edge density and node homogeneity. In this work, we doubt the universality of these widely adopted assumptions and compare human labeled communities with machine predicted ones obtained via various mainstream algorithms. Based on supportive results, we argue that communities are defined by various social patterns and unsupervised learning based on heuristics is incapable of capturing all of them. Therefore, we propose to inject supervision into community detection through Community Oriented Network Embedding (CONE), which leverages limited ground-truth communities as examples to learn an embedding model aware of the social patterns underlying them. Specifically, a deep architecture is developed by combining recurrent neural networks with random-walks on graphs towards capturing social patterns directed by ground-truth communities. Generic clustering algorithms on the embeddings of other nodes produced by the learned model then effectively reveals more communities that share similar social patterns with the ground-truth ones.

研究の動機と目的

• コミュニティ検出に広く用いられる仮定（エッジ密度とノード同質性）の普遍性に疑問を呈し、実世界のコミュニティ構造においてそれらの仮定が有効でないことを示すこと。
• ヒューリスティックな仮定によって捉えきれない、複雑で曇った、文脈特有の社会的パターンによって定義されるコミュニティを検出できない既存のアルゴリズムのギャップを埋めること。
• 少数のラベル付きコミュニティから学習し、他のネットワーク内や異なるネットワークにおいて類似するコミュニティを一般化して検出できる手法を開発すること。
• ノードのコンテンツ、ネットワーク構造、コミュニティ監視を統合して、文脈に適した豊かな社会的パターンをモデル化するディープラーニングフレームワークを構築すること。
• 生テキストやハッシュタグのような高次元でノイジーなコンテンツを持つネットワークにおいて、従来の手法が性能を発揮できない状況でも、信頼性の高い非教師ありコミュニティ検出を可能にすること。

提案手法

• CONEは、ノードの近傍の順序的構造とそのコンテンツをモデル化するため、グラフのランダムウォークと再帰ニューラルネットワーク（RNN）を組み合わせた深層アーキテクチャを採用する。
• 各ラベル付きコミュニティを監視信号として扱い、同じコミュニティに属するノードが埋め込み空間内で近接するようにモデルを学習する。
• ランダムウォークのシーケンスを用いてRNNでノードのコンテンツ（例：テキスト、属性）と局所的ネットワーク構造を同時にモデル化することで、社会的パターンを学習する。
• コンテキスト予測を用いるskip-gramモデルとは異なり、CONEはコミュニティ所属を直接監視信号として用いるため、同じコミュニティに属するノードが近接して埋め込まれることを保証する。
• フレームワークはネットワーク構造を正則化することで、パスベースの近似に依存せずに、局所的構造的文脈を保持する。
• 学習後、学習済み埋め込みに対して一般化されたクラスタリング（例：K-means）を適用し、新たなラベルなしコミュニティを検出する。

実験結果

リサーチクエスチョン

• RQ1 エッジ密度とノード同質性という広く採用されている仮定は、人間がラベル付けしたまたは自然に生じるグループにおいても、実世界のコミュニティに普遍的に成立するのか？
• RQ2 ヒューリスティックな構造的仮定に依存せず、実際の社会的パターンを反映する少数のラベル付きコミュニティから学習することで、コミュニティ検出を改善できるか？
• RQ3 コンテンツと構造を統合するディープラーニングフレームワークを用いて、複雑で曇った、文脈特有の社会的パターンをネットワークでモデル化することは可能か？
• RQ4 コミュニティレベルの監視を活用する教師ありネットワーク埋め込みアプローチは、未確認のネットワーク領域や異なるネットワークにおいても、コミュニティ検出に一般化可能か？
• RQ5 生テキストやハッシュタグのような高次元でノイジーなコンテンツを持つネットワークにおいて、CONEは非教師ありおよび半教師ありのベースラインと比較してどのように性能を発揮するか？

主な発見

• 実世界のコミュニティは、高密度なエッジや強いノード同質性を示さないことが多く、従来のコミュニティ検出アルゴリズムで用いられる仮定の妥当性に疑問を呈する。
• CONEは、DeepWalk、LINE、node2vecなどの非教師あり手法と比較して、特に高次元でノイジーなコンテンツを持つネットワークにおいて、コミュニティ検出タスクで顕著に優れた性能を発揮する。
• DBLP や Foursquare といったベンチマークデータセットにおいて、単なる接続性ではなく複雑な社会的パターンによって定義されるコミュニティ構造に対して、高いクラスタリング精度を達成する。
• CONEは、生テキストやハッシュタグのシーケンスのようなノイジーで高次元なコンテンツに対しても頑健である。従来のコンテンツ拡張手法は、特徴表現が劣るため、これに失敗する。
• ランダムウォークシーケンスをRNNで処理することで、パスベースのサンプリング手法に比べて、局所的構造的およびコンテンツ的パターンをよりよく捉えることができ、ノード埋め込みの一般化性能が向上する。
• CONEの埋め込みに基づくクラスタリングにより、ラベル付き例が少ない状況でも、常に新しい意味のあるコミュニティが正しく検出され、正解ラベルと整合する。