[논문 리뷰] Equivariant and Stable Positional Encoding for More Powerful Graph Neural Networks

Haorui Wang, Haoteng Yin외 2명|arXiv (Cornell University)|2022. 03. 01.

Advanced Graph Neural Networks인용 수 22

한 줄 요약

이 논문은 위치 인코딩 PE를 이용하되 불안정성 없이 사용하는 변환-동등성(permutation-equivariant) 및 PE-안정성(PE-stable) GNN 계층 PEG를 도입하여, 강력한 링크 예측 성능과 실제 네트워크 간의 좋은 일반화를 달성합니다.

ABSTRACT

Graph neural networks (GNN) have shown great advantages in many graph-based learning tasks but often fail to predict accurately for a task-based on sets of nodes such as link/motif prediction and so on. Many works have recently proposed to address this problem by using random node features or node distance features. However, they suffer from either slow convergence, inaccurate prediction, or high complexity. In this work, we revisit GNNs that allow using positional features of nodes given by positional encoding (PE) techniques such as Laplacian Eigenmap, Deepwalk, etc. GNNs with PE often get criticized because they are not generalizable to unseen graphs (inductive) or stable. Here, we study these issues in a principled way and propose a provable solution, a class of GNN layers termed PEG with rigorous mathematical analysis. PEG uses separate channels to update the original node features and positional features. PEG imposes permutation equivariance w.r.t. the original node features and imposes $O(p)$ (orthogonal group) equivariance w.r.t. the positional features simultaneously, where $p$ is the dimension of used positional features. Extensive link prediction experiments over 8 real-world networks demonstrate the advantages of PEG in generalization and scalability.

연구 동기 및 목표

• 노드 정체성 손실로 인한 노드 집합 작업(예: 링크/모티프 예측)에서의 표준 GNN의 한계 해결
• Permutation 동등성을 유지하면서 위치 인코딩(PE)을 활용하는 원리 기반 GNN 계층 개발
• 그래프 섭동 및 고유 벡터 불명확성에 대한 PE 기반 GNN의 안정성 보장
• PE 기법(예: Laplacian Eigenmap, LE) 사용 시 PE-동등성과 PE-안정성에 대한 이론적 보장 제공
• 실제 링크 예측 벤치마크에서의 실용적 이점 및 확장성 시연

제안 방법

• 원래 노드 특성 X와 위치 특성 Z를 별도의 채널에서 업데이트하는 GNN 계층 PEG를 제안
• PE-안정을 달성하기 위해 X에 대해 순열 동등성을, Z에 대해 O(p) (회전/반사) 동등성을 부여
• 고유 공간 관점에서 PE-안정성 보장: p-th와 (p+1)-th 라플라시안 고유값 간의 간격을 사용하여 민감도 한계 설정(정리 3.7)
• 구체적인 PEG 구현: g_PEG(A,X,Z) = (ψ[(Â ⊙ Ξ) X W], Z) with Ξ_uv = φ(∥Z_u − Z_v∥)
• 다른 PE 기법(DeepWalk, LINE)으로 일반화: 행렬 인수분해 M* = Z′Z^T 및 PE-동등성 조건 논의(정리 3.8)

실험 결과

연구 질문

• RQ1 PE를 활용한 위치 포함 인코딩을 사용하되 순열 동등성과 그래프 섭동에 대한 안정성을 동시에 달성할 수 있는 GNN 계층이 가능한가?
• RQ2 그래프 라플라시안의 고유값 구조(특히 p-번째와 (p+1)-번째 간격)가 PE 기반 GNN의 안정성과 일반화에 어떤 영향을 미치는가?
• RQ3 PE 기반 계층인 PEG가 DE 기반 또는 RF 기반 접근법보다 링크 예측 성능이 경쟁력 있거나 우수하고 도메인 간 전이성도 향상시키는가?
• RQ4 LE 또는 DW 기반 위치 특징을 PE 동등성을 유지하면서 GNN에 통합하여 확장성을 개선할 수 있는가?
• RQ5 도메인 시프트 시나리오가 PEG 기반 모델의 링크 예측 일반화에 어떤 영향을 미치는가?

주요 결과

방법	특징	Cora	Citeseer	Pubmed	Twitch-RU	Twitch-PT	Chameleon
VGAE	N.	89.89 ± 0.06	90.11 ± 0.08	94.62 ± 0.02	83.13 ± 0.07	82.89 ± 0.08	97.98 ± 0.01
VGAE	C.	55.68 ± 0.05	61.45 ± 0.36	69.03 ± 0.03	85.37 ± 0.02	85.69 ± 0.09	83.13 ± 0.04
VGAE	O.	83.97 ± 0.05	77.22 ± 0.04	82.54 ± 0.04	84.76 ± 0.09	87.91 ± 0.05	97.67 ± 0.04
VGAE	P.	83.82 ± 0.12	78.68 ± 0.25	81.74 ± 0.15	85.06 ± 0.14	85.06 ± 0.14	97.91 ± 0.03
VGAE	R.	68.43 ± 0.42	71.21 ± 0.78	69.31 ± 0.23	68.42 ± 0.43	68.49 ± 0.73	73.44 ± 0.53
VGAE	N. + P.	87.96 ± 0.29	80.04 ± 0.60	85.26 ± 0.17	84.59 ± 0.37	88.27 ± 0.19	98.01 ± 0.12
PGNN	N. + P.	86.92 ± 0.02	90.26 ± 0.02	88.12 ± 0.06	83.21 ± 0.00	82.37 ± 0.02	94.25 ± 0.01

• PEG는 DE 기반 기준선에 비해 일반화성과 확장성 측면에서 우수한 실현 가능한 8개 실제 네트워크에서 링크 예측 성능을 달성한다.
• DE를 사용하지 않고 PEG와 함께 PE를 활용하면 강력한 성능을 얻을 수 있으며, 도메인 시프트 링크 예측에서 이점이 더욱 강화된다.
• PE-안정성은 p-번째와 (p+1)-번째 라플라시안 고유값 간 간격에 의존함을 보였으며, 개별 고유벡터 부호에 민감한 접근법보다 더 안정적인 동작을 가능하게 한다.
• 정리 3.6–3.7의 이론적 결과는 LE를 PE로 사용할 때 PEG의 PE-동등성과 PE-안정성을 보장하며 특정 조건이 성립할 때 적용된다.
• LE 또는 DeepWalk를 PE 소스로 사용하여 PEG를 구성할 수 있으며, 간소화된 PEG 구현(g_PEG)이 실용적 효과를 보여준다.