[논문 리뷰] Generalized Laplacian Positional Encoding for Graph Representation Learning

Sohir Maskey, Ali Parviz외 4명|arXiv (Cornell University)|2022. 10. 28.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 임베딩 최적화 문제에서 $L^2$-노름을 $p$-노름으로 대체함으로써 전통적인 라플라시안 위치 인코딩을 일반화한 일반화된 라플라시안 위치 인코딩(p-PE)을 소개한다. 이 방법은 국소 최소화를 통해 노드 임베딩을 계산하며, 특히 $p \to 1$일 때 고리 구조를 포함한 다양한 그래프 구조를 잘 포착한다. 그러나 실험 결과, 노드 분류 및 그래프 회귀 작업에서 일반적으로 표준 $2$-PE보다 성능이 열 劣함을 보였다.

ABSTRACT

Graph neural networks (GNNs) are the primary tool for processing graph-structured data. Unfortunately, the most commonly used GNNs, called Message Passing Neural Networks (MPNNs) suffer from several fundamental limitations. To overcome these limitations, recent works have adapted the idea of positional encodings to graph data. This paper draws inspiration from the recent success of Laplacian-based positional encoding and defines a novel family of positional encoding schemes for graphs. We accomplish this by generalizing the optimization problem that defines the Laplace embedding to more general dissimilarity functions rather than the 2-norm used in the original formulation. This family of positional encodings is then instantiated by considering p-norms. We discuss a method for calculating these positional encoding schemes, implement it in PyTorch and demonstrate how the resulting positional encoding captures different properties of the graph. Furthermore, we demonstrate that this novel family of positional encodings can improve the expressive power of MPNNs. Lastly, we present preliminary experimental results.

연구 동기 및 목표

• 메시지 전파 신경망(MPNNs)의 한계, 즉 제한된 표현 능력과 링크 예측에서의 열 劣한 성능를 해결하기 위해.
• 기존 라플라시안 기반 위치 인코딩(LPE)에서 $L^2$-노름의 임의성 문제를 해결하기 위해 최적화 문제를 임의의 이질성 함수로 일반화하기 위해.
• 다양한 그래프 성질, 특히 군집화와 고리 구조를 더 잘 포착할 수 있도록 $p$-노름을 사용하는 새로운 위치 인코딩의 가족을 개발하기 위해.
• 특히 $p$-고유벡터를 사용할 경우 MPNN의 표현 능력 향상을 입증하고 이론적·실험적 잠재력을 탐색하기 위해.
• 큰 $k$ 또는 큰 그래프로의 확장에서 $p$-PE를 효율적으로 최적화하는 데 직면한 과제를 규명하고 향후 확장 가능하고 효과적인 $p$-노름 기반 인코딩을 위한 방향을 제시하기 위해.

제안 방법

• 표준 라플라시안 임베딩 문제를 일반화하여 목적 함수에 $L^2$-노름 대신 일반 이질성 함수 $d(\cdot, \cdot)$를 도입함: $\min_X \sum_{i,j} a_{ij} d(X_{i,:}, X_{j,:})$ 이며, 제약 조건 $C(X) = 0$ 을 수반함.
• 일반 프레임워크를 $p$-노름으로 구체화하여, 정규직교 제약 조건 하에 $p$-노름 기반의 쌍별 이질성을 최소화하는 비凸 최적화 문제의 해로 $p$-PE를 정의함.
• 전체 고유분해를 피하고 작은 $k$에 대해 확장 가능성을 확보하기 위해 국소 최소화 기반의 알고리즘을 구현하여 $p$-PE 임베딩을 계산함.
• 표준 LPE와 유사하게 $p$-PE에 내재된 부호 모호성 문제를 해결하기 위해 부호 뒤집기 및 SignNet(SN)을 적용함.
• 최종적으로 도출된 $p$-PE를 GCN, GIN, 그리고 트랜스포머 기반 모델과 같은 GNN에 초기 노드 특징으로 활용하여 후속 작업에 적용함.
• 이론적 분석 결과, 두 개 이상의 $p$-고유벡터를 사용하는 MPNN은 임의의 $p \in (1, \infty)$ 에 대해 1-WL 테스트보다 엄격히 더 표현 능력이 뛰어남을 입증함.

실험 결과

연구 질문

• RQ1 라플라시안 위치 인코딩에서 $L^2$-노름을 $p$-노름으로 대체함으로써 더 표현 능력이 뛰어나고 구조적으로 의미 있는 노드 임베딩를 얻을 수 있는가?
• RQ2 표준 $2$-PE와 비교해 $p$-PE 임베딩는 고리, 군집, 또는 최단 경로와 같은 그래프 성질을 얼마나 잘 포착하는가?
• RQ3 노드 분류 및 그래프 회귀 벤치마크에서 $p$-PE의 실증적 성능은 $2$-PE와 비교해 어떠한가?
• RQ4 $p$-고유벡터를 사용할 경우 $p$-PE는 1-WL 테스트를 초월하는 MPNN의 표현 능력을 향상시킬 수 있는가?
• RQ5 더 큰 $k$ 또는 더 큰 그래프로의 확장에서 $p$-PE를 최적화하는 데 직면한 주요 계산 및 최적화 과제는 무엇인가?

주요 결과

• 제안된 $p$-PE 프레임워크는 임베딩 최적화 문제에서 $L^2$-노름을 $p$-노름으로 대체함으로써 라플라시안 위치 인코딩을 일반화하여 다양한 구조적 인코딩 편향을 가능하게 한다.
• 특히 $p \to 1$일 때 $p$-PE는 소프트 군집화 기능처럼 행동하며, ZINC 분자의 시각화 결과에서 분자 그래프의 고리와 같은 의미 있는 구조를 효과적으로 식별함을 입증함.
• 이론적 이점에도 불구하고, Cora와 Citeseer에서의 노드 분류 작업에서 $p$-PE는 표준 $2$-PE보다 성능이 열 劣함. GCN+1.2-PE는 각각 83.4% 및 75.2%의 정확도를 기록한 반면, GCN+No PE는 각각 83.6% 및 74.7%를 기록함.
• ZINC-12K에서의 그래프 회귀 작업에서는 $2$-PE-Norm.이 GINE와 함께 최저 테스트 MAE $0.168 \pm 0.02$를 기록했고, $1.2$-PE와 $1.6$-PE는 각각 $0.180 \pm 0.01$ 및 $0.171 \pm 0.00$을 기록함. 이는 $2$-PE보다 일관되게 약간 열 劣한 성능을 보임.
• ZINC에서 트랜스포머 모델은 $2$-PE-Norm.이 가장 뛰어난 성능을 보였고, MAE는 $0.121 \pm 0.00$이었으며, $1.2$-PE와 $1.6$-PE는 각각 $0.133 \pm 0.01$ 및 $0.134 \pm 0.01$을 기록함. 이는 이 설정에서 $p$-PE가 $2$-PE를 능가하지 못함을 시사함.
• 이론적 결과는 임의의 $p \in (1, \infty)$ 에 대해 두 개 이상의 $p$-고유벡터를 갖는 MPNN이 1-WL 테스트보다 엄격히 더 표현 능력이 뛰어남을 확인함. 이는 이론적으로 표현 능력 향상 잠재력은 있으나, 현재 실험에서는 실증적 이득이 제한됨을 의미함.