[論文レビュー] Inductive Representation Learning in Large Attributed Graphs

Nesreen K. Ahmed, Ryan A. Rossi+5 more|arXiv (Cornell University)|Oct 25, 2017

Advanced Graph Neural Networks参考文献 11被引用数 21

ひとこと要約

本論文は、学習関数φを介してアイデンティティベースのランダムウォークを属性駆動型タイプマッピングに置き換えることで、大規模な属性付きグラフにおける表現学習の新規な誘導型フレームワークを提案する。この手法により、未学習のノードやグラフに一般化可能な、メモリ効率の高い誘導型ノード埋め込みが可能となり、多様なデータセットにおいてリンク予測タスクで平均16.1%の性能向上を達成する。

ABSTRACT

Graphs (networks) are ubiquitous and allow us to model entities (nodes) and the dependencies (edges) between them. Learning a useful feature representation from graph data lies at the heart and success of many machine learning tasks such as classification, anomaly detection, link prediction, among many others. Many existing techniques use random walks as a basis for learning features or estimating the parameters of a graph model for a downstream prediction task. Examples include recent node embedding methods such as DeepWalk, node2vec, as well as graph-based deep learning algorithms. However, the simple random walk used by these methods is fundamentally tied to the identity of the node. This has three main disadvantages. First, these approaches are inherently transductive and do not generalize to unseen nodes and other graphs. Second, they are not space-efficient as a feature vector is learned for each node which is impractical for large graphs. Third, most of these approaches lack support for attributed graphs. To make these methods more generally applicable, we propose a framework for inductive network representation learning based on the notion of attributed random walk that is not tied to node identity and is instead based on learning a function $Φ: \mathrm{ m \bf x} ightarrow w$ that maps a node attribute vector $\mathrm{ m \bf x}$ to a type $w$. This framework serves as a basis for generalizing existing methods such as DeepWalk, node2vec, and many other previous methods that leverage traditional random walks.

研究の動機と目的

• 大規模なグラフ表現学習における、従来のトランスダクティブでノードアイデンティティ依存のランダムウォーク手法の限界を克服すること。
• 未学習のノードや新しいグラフに一般化可能な誘導型表現学習を可能にすること。
• ノード特徴をランダムウォークプロセスに統合することで、属性付きグラフをサポートすること。
• 大規模なグラフ応用におけるメモリ効率とスケーラビリティを向上させること。
• 従来のランダムウォークベースの手法（例：DeepWalk, node2vec）を誘導型および属性付き設定に一般化すること。

提案手法

• ノード属性ベクトルを離散的タイプにマップする関数φ: x → wを学習し、表現学習をノードアイデンティティから分離する。
• ノードタイプを用いてグラフを走査することで、属性付きランダムウォークを生成する。
• 隣接ノード間の経路として、S = (φ(x_i1), φ(x_i2), ..., φ(x_iL+1)) と定義される属性付きウォークを定義する。
• ノードタイプのシーケンスに対してSkip-Gramモデルを適用し、ノードレベルの埋め込みではなくタイプレベルの埋め込みを学習する。
• グラフレットや関係特徴など、構造的および属性的特徴をタイプマッピング関数φの入力として活用する。
• タイプレベルの表現で学習することで、再トレーニングなしに新しいノードやグラフに対する推論が可能となる誘導性を確保する。

実験結果

リサーチクエスチョン

• RQ1 トランスダクティブなランダムウォークベースのグラフ埋め込み手法を、誘導的かつ大規模グラフにスケーラブルに一般化できるか？
• RQ2 ノード属性をランダムウォークプロセスに統合することで、表現品質をどのように向上させられるか？
• RQ3 提案されたフレームワークは、性能を維持または向上させつつ、どれほどメモリ使用量を削減できるか？
• RQ4 一般化可能なタイプ埋め込みを学習することで、クロスネットワークおよびクロスタイム予測タスクをサポートできるか？
• RQ5 属性付きおよび非属性付きグラフの両方において、元の手法と比較して性能が保持または向上するか？

主な発見

• 提案されたフレームワークは、従来のノードレベル埋め込み手法と比較して、最大853倍のメモリ使用量削減を達成する。
• 生物学、ソーシャルネットワーク、情報システム分野の多様なグラフにおいて、リンク予測AUCで平均16.1%の向上を達成する。
• fb-Yale4グラフでは、リンク予測AUCが0.998を達成し、node2vec（0.997）およびDeepWalk（0.996）を上回る。
• soc-anybeatネットワークでは、ベースラインすべてを上回り、AUCが0.961を記録（node2vecは0.854）。
• クロスタイムリンク予測や動的ネットワーク分類といった誘導的タスクを自然にサポートする。
• φが各ノードを一意のタイプにマップする場合、元の手法を特別なケースとして回復できるため、性能が元の手法以下になることは保証される。