[論文レビュー] From Node Embedding To Community Embedding

Vincent W. Zheng, Sandro Cavallari+3 more|arXiv (Cornell University)|Oct 31, 2016

Advanced Graph Neural Networks参考文献 20被引用数 32

ひとこと要約

本稿では、ノードとコミュニティの埋め込みを閉ループフィードバック機構を通じて共同最適化する、最初のコミュニティ埋め込み手法であるComEを提案する。コミュニティに配慮した高次近接性をモデル化することで、ComEはコミュニティ検出とノード分類の両方を向上させ、実世界のデータセットにおいて、マクロ-F1で最大43.5%、NMIで7.8%の優位性を示した。

ABSTRACT

Most of the existing graph embedding methods focus on nodes, which aim to output a vector representation for each node in the graph such that two nodes being "close" on the graph are close too in the low-dimensional space. Despite the success of embedding individual nodes for graph analytics, we notice that an important concept of embedding communities (i.e., groups of nodes) is missing. Embedding communities is useful, not only for supporting various community-level applications, but also to help preserve community structure in graph embedding. In fact, we see community embedding as providing a higher-order proximity to define the node closeness, whereas most of the popular graph embedding methods focus on first-order and/or second-order proximities. To learn the community embedding, we hinge upon the insight that community embedding and node embedding reinforce with each other. As a result, we propose ComEmbed, the first community embedding method, which jointly optimizes the community embedding and node embedding together. We evaluate ComEmbed on real-world data sets. We show it outperforms the state-of-the-art baselines in both tasks of node classification and community prediction.

研究の動機と目的

• グラフ表現学習におけるコミュニティ埋め込みの欠如に起因する問題に対処する。多くの手法が個々のノードに焦点を当てているのに対し、コミュニティの埋め込みを統合する。
• ノード埋め込みを用いてコミュニティを生成し、コミュニティ埋め込みを用いてノード埋め込みを精緻化することで、コミュニティ検出と埋め込みの間のループを閉じる。
• 一次および二次の接続を超える構造的結束を捉える、新たな高次近接性の形式—コミュニティに配慮した近接性—を提案する。
• コミュニティ埋め込みの有効性を、コミュニティ検出および下流のノード分類タスクの両面で評価する。

提案手法

• ComEは、コミュニティ構造がノード表現に影響を与え合い、逆にノード表現がコミュニティ構造を改善する閉ループフレームワークを用いて、ノード埋め込みとコミュニティ埋め込みを共同最適化する。
• コミュニティ埋め込みは、埋め込み空間内でのコミュニティメンバーの空間的分布を表す多変量正規分布（平均および共分散）としてモデル化される。
• ノードが同じコミュニティに属する場合に、直接のリンクや共有コンテキストがなくても、低次元空間で近接するよう促す、新しいコミュニティに配慮した高次近接性が導入される。
• 目的関数は、一次および二次の近接性と、ハイパーパramータ α と β で制御される、コミュニティ埋め込み情報を取り入れた正則化項を組み合わせている。
• コミュニティ検出は、最適化されたノード埋め込みにガウス・ミックスチャネル・モデル（GMM）を適用することで実行され、エンド・ツー・エンドの学習が可能になる。
• 本手法は、負例サンプリングを用いた確率的最適化で学習され、グラフサイズ（|V| および |E|）に比例して線形に収束することが示された。

実験結果

リサーチクエスチョン

• RQ1 コミュニティ埋め込みはノードのグループに対する意味的な表現として機能し、コミュニティ検出を向上させることができるか？
• RQ2 コミュニティ埋め込みは、従来の一次および二次近接性を超えて、ノード埋め込みをどのように向上させることができるか？
• RQ3 ノード埋め込みとコミュニティ埋め込みの間の閉ループフィードバックは、コミュニティ検出およびノード分類の両方の性能向上に寄与するか？
• RQ4 ハイパーパramータ α と β は、異なる近接性タイプのトレードオフと全体的なモデル性能にどのような影響を及えるか？

主な発見

• すべてのデータセットにおいて、最良のベースライン手法と比較して、コンダクタンスで1.1%〜2.8%、NMIで2.5%〜7.8%の向上を達成した。
• ノード分類において、マクロ-F1で9.52%〜43.5%、マイクロ-F1で6.9%〜19.4%の相対的改善が得られ、p値 < 0.01 により統計的有意性が確認された。
• モデルは迅速に収束し、訓練損失が数イテレーションで安定化する。処理時間はグラフサイズ（|V| および |E|）に比例して線形に増加する。
• ハイパーパramータ分析の結果、α = 0.1 および β = 0.1 が最適な性能を示し、両パラメータの範囲 [0.001, 1] においても安定した結果が得られた。
• コミュニティに配慮した高次近接性は、構造的結束を効果的に捉えており、直接の教師信号がなくても、より優れたノード表現を可能にした。
• ComEは、ノード埋め込みとコミュニティ埋め込みの共同学習が互いに向上させることを実証し、閉ループ設計の有効性を裏付けた。