[論文レビュー] Equivariant and Stable Positional Encoding for More Powerful Graph Neural Networks

Haorui Wang, Haoteng Yin+2 more|arXiv (Cornell University)|Mar 1, 2022

Advanced Graph Neural Networks被引用数 22

ひとこと要約

この論文は、位置エンコーディング（PE）を安定性を損ねずに用いる、置換不変性とPE安定性を備えたGNN層PEGを導入し、実ネットワークにおけるリンク予測性能と一般化能力を高めることを示しています。

ABSTRACT

Graph neural networks (GNN) have shown great advantages in many graph-based learning tasks but often fail to predict accurately for a task-based on sets of nodes such as link/motif prediction and so on. Many works have recently proposed to address this problem by using random node features or node distance features. However, they suffer from either slow convergence, inaccurate prediction, or high complexity. In this work, we revisit GNNs that allow using positional features of nodes given by positional encoding (PE) techniques such as Laplacian Eigenmap, Deepwalk, etc. GNNs with PE often get criticized because they are not generalizable to unseen graphs (inductive) or stable. Here, we study these issues in a principled way and propose a provable solution, a class of GNN layers termed PEG with rigorous mathematical analysis. PEG uses separate channels to update the original node features and positional features. PEG imposes permutation equivariance w.r.t. the original node features and imposes $O(p)$ (orthogonal group) equivariance w.r.t. the positional features simultaneously, where $p$ is the dimension of used positional features. Extensive link prediction experiments over 8 real-world networks demonstrate the advantages of PEG in generalization and scalability.

研究の動機と目的

• ノード集合タスク（例：リンク／モチーフ予測）における標準GNNのノードアイデンティティ喪失による制約を解消する。
• 位置エンコーディング（PE）を活用しつつ置換不変性を保持する principled なGNN層を開発する。
• グラフ摂動や固有ベクトルの曖昧さに対してPEベースのGNNの安定性を保証する。
• PE手法としてのラプラシアン固有写像（LE）を用いる場合のPE等価性とPE安定性の理論的保証を提供する。
• 実データのリンク予測ベンチマークにおける実践的な利点とスケーラビリティを示す。

提案手法

• 原始ノード特徴Xと位置特徴Zを別々のチャネルで更新するGNN層PEGを提案する。
• PE安定性を達成するために、Xに対しては置換不変性、Zに対してはO(p)（回転・反射）不変性を課す。
• 固有スペースの観点からPE安定性を保証する：p番目と(p+1)番目のラプラシアン固有値の間隔を用いて感度を上限化する（定理3.7）。
• 具体的なPEG実装を提供する： g_PEG(A,X,Z) = (ψ[(Â ⊙ Ξ) X W], Z) with Ξ_uv = φ(∥Z_u − Z_v∥)。
• 他のPE手法（DeepWalk、LINE）へ拡張することを可能にする行列因子分解 M* = Z′Z^T を介してPE等価性の条件を議論する（定理3.8）。

実験結果

リサーチクエスチョン

• RQ1 PEベースの層は置換不変性を保ちつつ、グラフの摂動下での安定性を達成できるか。
• RQ2 グラフラプラシアンの固有値構造（特にp番目と(p+1)番目のギャップ）がPEベースGNNの安定性と一般化にどのように影響するか。
• RQ3 PEベースの層（PEG）はDEベースやRFベースのアプローチと比較して、リンク予測性能やドメイン間移行性で競争力があるか。
• RQ4 LEやDWベースの位置特徴をPEとして組み込み、等価性を保ちながらスケーラビリティを改善できるか。
• RQ5 ドメインシフトがPEGベースモデルのリンク予測タスクにおける一般化にどう影響するか。

主な発見

方法	特徴	Cora	Citeseer	Pubmed	Twitch-RU	Twitch-PT	Chameleon
VGAE	N.	89.89 ± 0.06	90.11 ± 0.08	94.62 ± 0.02	83.13 ± 0.07	82.89 ± 0.08	97.98 ± 0.01
VGAE	C.	55.68 ± 0.05	61.45 ± 0.36	69.03 ± 0.03	85.37 ± 0.02	85.69 ± 0.09	83.13 ± 0.04
VGAE	O.	83.97 ± 0.05	77.22 ± 0.04	82.54 ± 0.04	84.76 ± 0.09	87.91 ± 0.05	97.67 ± 0.04
VGAE	P.	83.82 ± 0.12	78.68 ± 0.25	81.74 ± 0.15	85.06 ± 0.14	85.06 ± 0.14	97.91 ± 0.03
VGAE	R.	68.43 ± 0.42	71.21 ± 0.78	69.31 ± 0.23	68.42 ± 0.43	68.49 ± 0.73	73.44 ± 0.53
VGAE	N. + P.	87.96 ± 0.29	80.04 ± 0.60	85.26 ± 0.17	84.59 ± 0.37	88.27 ± 0.19	98.01 ± 0.12
PGNN	N. + P.	86.92 ± 0.02	90.26 ± 0.02	88.12 ± 0.06	83.21 ± 0.00	82.37 ± 0.02	94.25 ± 0.01

• PEGは8つの実ネットワークでリンク予測性能の競争力を示し、DEベースのベースラインに対して良好な一般化とスケーラビリティを持つ。
• PEGとPEを組み合わせると、距離エンコーディング（DE）に依存せずに強い結果を得られ、ドメインシフトのリンク予測ではその利点がさらに大きくなる。
• PE安定性はp番目と(p+1)-番目のラプラシアン固有値のギャップに依存することが示され、個々の固有ベクトルの符号に敏感なアプローチよりも安定的な挙動を提供する。
• 理論的結果（定理3.6–3.7）は、LEをPEとして使用し、特定の条件が成り立つ場合にPEGのPE等価性とPE安定性を保証する。
• PEGはLEまたはDeepWalkをPEの源として実装可能で、簡略化されたPEG実装(g_PEG)は実用的な有効性を示す。