[논문 리뷰] Graph Neural Networks with Learnable Structural and Positional Representations

Vijay Prakash Dwivedi, Anh Tuan Luu외 3명|arXiv (Cornell University)|2021. 10. 15.

Advanced Graph Neural Networks참고 문헌 61인용 수 25

한 줄 요약

논문은 GNN의 학습 가능한 구조적 및 위치 인코딩을 분리하는 프레임워크 LSPE를 도입하여 표현력을 향상시키고, 분자 벤치마크에서 상당한 이득을 달성합니다(예: 두 GNN 클래스에서 PE를 모두 학습할 때 1.79%에서 64.14%로 개선).

ABSTRACT

Graph neural networks (GNNs) have become the standard learning architectures for graphs. GNNs have been applied to numerous domains ranging from quantum chemistry, recommender systems to knowledge graphs and natural language processing. A major issue with arbitrary graphs is the absence of canonical positional information of nodes, which decreases the representation power of GNNs to distinguish e.g. isomorphic nodes and other graph symmetries. An approach to tackle this issue is to introduce Positional Encoding (PE) of nodes, and inject it into the input layer, like in Transformers. Possible graph PE are Laplacian eigenvectors. In this work, we propose to decouple structural and positional representations to make easy for the network to learn these two essential properties. We introduce a novel generic architecture which we call LSPE (Learnable Structural and Positional Encodings). We investigate several sparse and fully-connected (Transformer-like) GNNs, and observe a performance increase for molecular datasets, from 1.79% up to 64.14% when considering learnable PE for both GNN classes.

연구 동기 및 목표

• 임의의 그래프에서 고유한 노드 위치가 표준화되지 않아 표현력이 제약된다.
• 구조적 표현과 위치 표현을 모두 학습하는 일반적인 LSPE 아키텍처를 제안한다.
• LSPE가 희소한 GNN과 트랜스포머 유사 GNN에서 분자 벤치마크 및 기타 그래프에 걸쳐 성능을 향상시킨다는 것을 보여준다.

제안 방법

• 위치 인코딩을 구조적 특징과 분리하고 이를 함께 학습하는 MP-GNNs-LSPE를 도입한다.
• 두 가지 초기 위치 인코딩을 사용한다: 라플라시안 PE(LapPE)와 랜덤 워크 PE(RWPE).
• 레이어 업데이트를 h^{l+1}이 [h^{l}, p^{l}]의 연결에 의존하고 p^{l+1}은 학습 가능한 함수 f_p를 통해 업데이트된다고 정의한다(식 17).
• PE를 LapPE 또는 RWPE 중 하나로 초기화하고 0층에서 노드 특징에 임베딩한다(식 20).
• 선택적으로 p^{L}이 라플라시안 고유벡터와 정렬되도록 하는 위치 손실(Loss_LapEig)을 추가한다.
• 희소 MP-GNN(GatedGCN, PNA)과 트랜스포머형 GNN(SAN, GraphiT)에서 LSPE를 시연한다.

실험 결과

연구 질문

• RQ1 구조적 표현과 위치 표현을 분리하고 이를 엔드 투 엔드로 학습하는 것이 임의의 그래프에서 GNN의 표현력을 향상시킬 수 있는가?
• RQ2 학습 가능한 PE(RWPE 대 LapPE)가 희소 및 트랜스포머 기반 GNN에서 성능 및 학습 역학에 어떤 영향을 미치는가?
• RQ3 학습된 PE에 LapEig 영감을 벤치로 한 손실을 도입하면 그래프 토폴로지와 작업 성능의 정렬이 개선되는가?
• RQ4 RWPE가 분자 벤치마크에서 부호 모호성 감소 및 성능 향상에 있어 LapPE보다 더 효과적인가?

주요 결과

• LSPE가 조사된 모델 및 데이터 세트 전반에서 성능을 크게 향상시키며, ZINC에서 GatedGCN-RWPE에 대해 MAE가 0.202에서 0.090으로 감소했고 baselines 대비 최대 64.14% 상대 이득을 보인다.
• MOLTOX21에서 RWPE를 적용한 LSPE는 0.7754의 테스트 ROC-AUC를 달성하여 최상 Baseline과 비슷하고, MOLPCBA에서는 PNA-LSPE로 0.2840의 테스트 AP를 달성한다.
• LSPE는 희소 GNN과 트랜스포머 GNN 모두를 일관되게 개선하며, 분자 그래프에서 희소 MP-GNN이 종종 트랜스포머 GNN보다 나은 성능을 보인다.
• ZINC에서의 최상의 LSPE 결과는 SAN 및 Graphormer를 포함한 여러 최첨단 Baseline을 능가하며 비교에 따라 MAE가 약 26–35% 개선된다.
• 매 층에서 위치 표현을 학습하는 것이(고정 입력 PE와의 비교) 최상의 성능을 낳고 과적합을 줄이며, 특히 최종적으로 학습된 PE와 연결하는 경우에 더 큰 효과가 있다.
• 추론적으로 RWPE가 LapPE의 부호 모호성 문제를 감소시키고 그래프의 비동일 영역을 구별하는 위치 신호를 더 강하게 제공한다는 점이 확인되었다.