[論文レビュー] Inductive Representation Learning on Large Graphs

William L. Hamilton, Rex Ying+1 more|arXiv (Cornell University)|Jun 7, 2017

Bioinformatics and Genomic Networks参考文献 34被引用数 4,534

ひとこと要約

GraphSAGEは、ノード特徴からの近傍集約関数を学習して未見ノードの埋め込みを生成する誘導的フレームワークを提示し、3つの誘導的ノード分類タスクでベースラインを上回る。

ABSTRACT

Low-dimensional embeddings of nodes in large graphs have proved extremely useful in a variety of prediction tasks, from content recommendation to identifying protein functions. However, most existing approaches require that all nodes in the graph are present during training of the embeddings; these previous approaches are inherently transductive and do not naturally generalize to unseen nodes. Here we present GraphSAGE, a general, inductive framework that leverages node feature information (e.g., text attributes) to efficiently generate node embeddings for previously unseen data. Instead of training individual embeddings for each node, we learn a function that generates embeddings by sampling and aggregating features from a node's local neighborhood. Our algorithm outperforms strong baselines on three inductive node-classification benchmarks: we classify the category of unseen nodes in evolving information graphs based on citation and Reddit post data, and we show that our algorithm generalizes to completely unseen graphs using a multi-graph dataset of protein-protein interactions.

研究の動機と目的

• 進化するグラフで未見ノードに一般化する誘導的ノード埋め込みの必要性を動機づける。
• 近傍の特徴を集約してノード埋め込みを生成する一般的なGraphSAGEフレームワークを提案する。
• 複数のアグリゲータ・アーキテクチャを評価し、さまざまなデータセットでベースラインを上回る予測性能を示す。
• 本手法がグラフ間で一般化可能であることを示し、局所的なグラフ構造を学習する理論的洞察を提供する。

提案手法

• ノードの局所的近傍から特徴を組み合わせて埋め込みを生成する trainable アグリゲータ関数を学習し、複数ホップ（K）を通じて埋め込みを生成するGraphSAGEを提案する。
• 各層が近傍表現を集約し、ノード自身の表現と結合し、学習された重み W^k を用いて非線形変換を適用する前方伝播手順（アルゴリズム1）を用いる。
• 近くのノードが類似した表現を持ち、遠いノードが異なるように促す教師なし損失（式1）を採用し、タスク固有の目的に対して任意の監視付きバリアントを用意できる。
• 近傍順序に対して対称性を保ちながら、近傍情報を捉えるために平均、LSTM、プーリングなどの異なるアグリゲータ・アーキテクチャを検討する。

実験結果

リサーチクエスチョン

• RQ1 GraphSAGEは訓練中に見られていないノードに対して意味のある埋め込みを生成できるか（誘導設定）？
• RQ2 異なる近傍アグリゲータは誘導埋め込みの品質とスケーラビリティにどのように影響するか？
• RQ3 学習されたアグリゲータは局所的なグラフ構造をどれだけ捉え、グラフ間一般化を可能にするか？
• RQ4 GraphSAGEは実世界の誘導タスクにおいて、transductiveベースラインや他の埋め込み手法とどう比較されるか？

主な発見

Name	Citation Unsup F1	Citation Sup F1	Reddit Unsup F1	Reddit Sup F1	PPI Unsup F1	PPI Sup F1
Random	0.206	0.206	0.043	0.042	0.396	0.396
Raw features	0.575	0.575	0.585	0.585	0.422	0.422
DeepWalk	0.565	0.565	0.324	0.324	—	—
DeepWalk + features	0.701	0.701	0.691	0.691	—	—
GraphSAGE-GCN	0.742	0.772	0.908	0.930	0.465	0.500
GraphSAGE-mean	0.778	0.820	0.897	0.950	0.486	0.598
GraphSAGE-LSTM	0.788	0.832	0.907	0.954	0.482	0.612
GraphSAGE-pool	0.798	0.839	0.892	0.948	0.502	0.600

• GraphSAGEは、引用、Reddit、PPIデータセット全体でベースライン（ランダム、生特徴、DeepWalk、およびDeepWalk+特徴）を上回る。
• アグリゲータの中では、LSTMとプーリングのバリアントが全体的に最も高い性能を示し、平均は競合的な結果を提供し、GCNベースの集約は一部タスクで低い性能を示す。
• 教師なしのGraphSAGEは、完全に監視されたバリアントに近い高い性能を達成でき、タスク固有ラベルなしでも有用性が高いことを示す。
• K=2および適度な近傍サンプリングを利用したGraphSAGEのバリアントは、K=1と比較して精度を著しく向上させる（平均で約10-15%）一方、実行時間も良好。
• この手法はPPI設定でのグラフ間一般化を示し、複数グラフでの学習が見られないグラフでの性能を向上させる。