[論文レビュー] Position-aware Graph Neural Networks

Jiaxuan You, Rex Ying+1 more|arXiv (Cornell University)|Jun 11, 2019

Advanced Graph Neural Networks被引用数 88

ひとこと要約

P-GNNはアンカー集合ベースの距離埋め込みを導入し、グラフ内のノードの位置を捉えられることで、誘導的でスケーラブルかつ特徴量を考慮した位置認識表現を実現し、さまざまなタスクで従来のGNNよりも高い性能を発揮します。

ABSTRACT

Learning node embeddings that capture a node's position within the broader graph structure is crucial for many prediction tasks on graphs. However, existing Graph Neural Network (GNN) architectures have limited power in capturing the position/location of a given node with respect to all other nodes of the graph. Here we propose Position-aware Graph Neural Networks (P-GNNs), a new class of GNNs for computing position-aware node embeddings. P-GNN first samples sets of anchor nodes, computes the distance of a given target node to each anchor-set,and then learns a non-linear distance-weighted aggregation scheme over the anchor-sets. This way P-GNNs can capture positions/locations of nodes with respect to the anchor nodes. P-GNNs have several advantages: they are inductive, scalable,and can incorporate node feature information. We apply P-GNNs to multiple prediction tasks including link prediction and community detection. We show that P-GNNs consistently outperform state of the art GNNs, with up to 66% improvement in terms of the ROC AUC score.

研究の動機と目的

• グラフの局所的な近傍構造を超えてノードの位置をエンコードするノード埋め込みの必要性を動機づける。
• アンカー集合と距離重み付き集約を用いて位置認識埋め込みを学習する、スケーラブルで誘導的なGNNフレームワーク（P-GNN）を提案する。
• P-GNNは従来のGNNより表現力が高く、迅速な変種（P-GNN-Fast）として実装可能であることを示す。
• 複数のデータセットとタスクでP-GNNを経験的に評価し、最先端のGNNと比較して顕著な性能向上を示す。

提案手法

• フォワードパスごとにk個のランダムなアンカー集合S_iをサンプリングして、アンカーに対するノードの位置を捉える。
• 距離ベースの類似度s(v,u)とノード特徴量を用いて各アンカー集合ごとにメッセージを計算し、Agg_MとAgg_Sという学習可能な関数で集約する。
• トレーニング可能な重みベクトルwでアンカー集合メッセージ行列Mを射影し、位置認識埋め込みz_vを形成する。
• 複数のP-GNN層を積み重ねて表現力を高めつつ、位置認識を維持し伝播のための構造認識メッセージh_vを生成する。
• ボルゲインの定理に基づいてアンカー集合の選択を地固めし、k = O(log^2 n)で低歪みの距離保持を保証する。
• 直系のGNNと比較して計算量を保ちながら、近似距離計算を用いた高速な変種P-GNN-Fastを提供する。

実験結果

リサーチクエスチョン

• RQ1 ノードの位置を、共有アンカー集合の集合に相対的に学習することで、構造的に同型なノードを識別できるのか。
• RQ2 アンカー集合ベースの距離埋め込みは、リンク予測やコミュニティ検出などのグラフタスクの予測性能を標準的なGNNと比較して向上させるのか。
• RQ3 P-GNNの表現力は既存のGNNアーキテクチャと比べてどの程度か、P-GNNはスケーラブルな高速変種として実装可能か。
• RQ4 ノード特徴を位置認識埋め込みと組み合わせて使用することが下流タスクに与える影響はどの程度か。

主な発見

モデル	Grid-T	Communities-T	Grid	Communities	PPI
GCN	0.698±0.051	0.981±0.004	0.456±0.037	0.512±0.008	0.769±0.002
GraphSAGE	0.682±0.050	0.978±0.003	0.532±0.050	0.516±0.010	0.803±0.005
GAT	0.704±0.050	0.980±0.005	0.566±0.052	0.618±0.025	0.783±0.004
GIN	0.732±0.050	0.984±0.005	0.499±0.054	0.692±0.049	0.782±0.010
P-GNN-F-1L	0.542±0.057	0.930±0.093	0.619±0.080	0.939±0.083	0.719±0.027
P-GNN-F-2L	0.637±0.078	0.989±0.003	0.694±0.066	0.991±0.003	0.805±0.003
P-GNN-E-1L	0.665±0.033	0.966±0.013	0.879±0.039	0.985±0.005	0.775±0.029
P-GNN-E-2L	0.834±0.099	0.988±0.003	0.940±0.027	0.985±0.008	0.808±0.003

• P-GNNはデータセットとタスクを問わず最先端のGNN系に対して一貫して優れた性能を発揮し、報告された結果でROC AUCが最大66%改善されることがある。
• アブレーション実験は、アンカー集合による位置情報の組み込みが、純粋に構造だけを用いる埋め込みより有意な性能向上をもたらすことを示している。
• P-GNN-Fastは、全体のP-GNNと同等の性能を達成しつつ、従来のGNNと同様のスケーラブルな計算量を維持する。
• 理論分析は、P-GNNが従来のGNNを一般化し、ノード埋め込みと共有アンカーの結合分布を活用することで表現力が高まることを示している。
• アンカー集合はボルゲインの指針に従って(O(log^2 n))とサイズ付けされることで、低歪みの距離保持を可能にする。