[論文レビュー] Network Vector: Distributed Representations of Networks with Global Context

Hao Wu, Kristina Lerman|arXiv (Cornell University)|Sep 7, 2017

Advanced Graph Neural Networks参考文献 19被引用数 3

ひとこと要約

Network Vector は、ランダムウォークを用いた学習により、局所的な近隣構造とグローバルなネットワークコンテキストの両方を捉えることで、ノードとネットワーク全体の共同分散表現を学習するニューラル埋め込みアルゴリズムである。ノード分類、ロール同定、コンセプトアナロジーのタスクにおいて、state-of-the-art の node2vec よりも優れた性能を示し、限られたラベル付きデータでも最大で10.3%高い Micro-F1 スコアを達成する。

ABSTRACT

We propose a neural embedding algorithm called Network Vector, which learns distributed representations of nodes and the entire networks simultaneously. By embedding networks in a low-dimensional space, the algorithm allows us to compare networks in terms of structural similarity and to solve outstanding predictive problems. Unlike alternative approaches that focus on node level features, we learn a continuous global vector that captures each node's global context by maximizing the predictive likelihood of random walk paths in the network. Our algorithm is scalable to real world graphs with many nodes. We evaluate our algorithm on datasets from diverse domains, and compare it with state-of-the-art techniques in node classification, role discovery and concept analogy tasks. The empirical results show the effectiveness and the efficiency of our algorithm.

研究の動機と目的

• 既存のネットワーク埋め込み手法が局所的なノード近傍にのみ注目し、グローバルなネットワーク構造を捉えられていないという限界を解決すること。
• 低次元空間においてノードとネットワークレベルの表現を共同で学習するスケーラブルでエンドツーエンドのアルゴリズムを構築すること。
• ネットワーク構造的類似性の定量的比較と、構造的に同等のノードまたはネットワークの同定を可能にすること。
• グローバルコンテキストを組み込むことで、ノード分類、ロール同定、コンセプトアナロジーなどの予測タスクのパフォーマンスを向上させること。
• テキスト的または非テキスト的属性をネットワーク表現学習に組み込むことができる柔軟なフレームワークを提供すること。

提案手法

• アルゴリズムはランダムウォークを用いてノードのシーケンスを生成し、各ウォークを「文」として扱い、ネットワーク全体を「文書」と見なす。
• ノード埋め込みと同時に最適化されるグローバルコンテキストベクトルを導入し、ランダムウォークシーケンスにおける次のノードの予測尤度を最大化する。
• 局所的ノード近接性（スキップグラムモデルを用いて）とグローバルネットワークコンテキストを組み合わせた目的関数を定義し、効率的な学習のためのネガティブサンプリングを用いる。
• グローバルコンテキストベクトルはすべてのノードで共有され、ネットワーク全体の構造的特性を捉える。
• スケーラブルなアルゴリズムであり、ノードレベルおよびネットワークレベルの類似性比較を両方ともサポートする。
• ノードを語彙、ランダムウォークパスを文に置き換えることで、Paragraph Vector フレームワーク（Le & Mikolov, 2014）をネットワークに拡張する。

実験結果

リサーチクエスチョン

• RQ1 一元的な埋め込みフレームワークは、局所的およびグローバルな構造的情報を保持しつつ、ノードとネットワーク全体を同時に表現できるか？
• RQ2 グローバルネットワークコンテキストを組み込むことで、ローカルのみの手法と比較して、ノード分類およびロール同定タスクのパフォーマンスはどの程度向上するか？
• RQ3 Network Vector は、node2vec や LINE や DeepWalk といった最先端手法と比較して、多様なネットワークタイプにおいて構造的類似性をどの程度正確に捉えられるか？
• RQ4 ラベル付きデータの量が異なる状況下、特にデータが少ない状況下で、アルゴリズムの性能はどのようになるか？
• RQ5 グローバルコンテキストが最も効果を発揮するのはどのような状況か、逆に効果が薄い状況はどのようなものか？

主な発見

• Network Vector は、すべてのデータセットで node2vec を常に上回り、Macro-F1 および Micro-F1 スコアの両方において、BFSに類似したランダムウォークサンプリング（q 値が高い場合）で性能向上が顕著に現れる。
• BlogCatalog データセットでは、40% のデータがラベル付きの状況で、Micro-F1 スコアが node2vec よりも 10.3% 高く、限られた教師付き情報下でも優れた一般化性能を示す。
• PPI データセットでは、(p,q) の設定が異なる状況下でも、Network Vector は node2vec より安定した性能向上を示し、サンプリングバイアスに対して頑健であることが示された。
• ラベル付きデータがたった 10% の状況でも、Network Vector は Macro-F1 で 1.5%、Micro-F1 で 7.1% の向上を達成し、データが少ない状況下でも有効であることが示された。
• ランダムウォークが BFS に類似した探索を好む場合に性能向上が最も顕著になることから、局所的情報が密度高く構造的である場合にグローバルコンテキストが最も効果を発揮することがわかった。
• アルゴリズムはネットワークレベルの比較を効果的に可能にし、組織的ネットワークにおけるマネージャーのような構造的に類似したノードの同定、および異なるネットワーク間での類似関係の同定を可能にした。