[논문 리뷰] Graph Neural Networks with Learnable Structural and Positional Representations

Vijay Prakash Dwivedi, Anh Tuan Luu외 3명|arXiv (Cornell University)|2021. 10. 15.

Machine Learning in Materials Science인용 수 62

한 줄 요약

논문은 학습 가능한 구조적 및 위치 인코딩을 분리해 표현력을 높이는 MP-GNNs-LSPE를 제안하며, RWPE 또는 LapPE 초기화와 특수 손실을 사용하고, 분자 그래프 및 기타 그래프 벤치마크에서 주목할 만한 성능 향상을 달성한다.

ABSTRACT

Graph neural networks (GNNs) have become the standard learning architectures for graphs. GNNs have been applied to numerous domains ranging from quantum chemistry, recommender systems to knowledge graphs and natural language processing. A major issue with arbitrary graphs is the absence of canonical positional information of nodes, which decreases the representation power of GNNs to distinguish e.g. isomorphic nodes and other graph symmetries. An approach to tackle this issue is to introduce Positional Encoding (PE) of nodes, and inject it into the input layer, like in Transformers. Possible graph PE are Laplacian eigenvectors. In this work, we propose to decouple structural and positional representations to make easy for the network to learn these two essential properties. We introduce a novel generic architecture which we call LSPE (Learnable Structural and Positional Encodings). We investigate several sparse and fully-connected (Transformer-like) GNNs, and observe a performance increase for molecular datasets, from 1.79% up to 64.14% when considering learnable PE for both GNN classes.

연구 동기 및 목표

• 일반 GNN의 고전적 위치 지정 제약을 해결하기 위해 구조 표현과 분리된 학습 가능한 위치 인코딩을 도입한다.
• LSPE를 MP-GNNs와 Transformer GNN에 학습 가능한 위치 정보를 보강하는 일반 프레임워크로 제시한다.
• LSPE를 분자 벤치마크(ZINC, MOLTOX21, MOLPCBA)와 비분자 그래프에서 평가해 넓은 개선을 입증한다.
• 학습 가능한 PE(특히 RWPE)가 희소 및 완전 연결 GNN 변형에서 성능을 개선하면서도 확장 가능한 복잡도를 유지하는지 보여준다.

제안 방법

• 구조적 특징 h와 학습 가능한 위치 특징 p를 층별로 업데이트되도록 분리하는 MP-GNNs-LSPE 아키텍처를 제안한다.
• 두 가지 초기 위치 인코딩을 도입한다: Laplacian PE (LapPE)와 Random Walk PE (RWPE); RWPE는 복잡도를 낮추기 위해 RWii 항목만 사용한다.
• LSPE 층 업데이트를 정의한다: h^{l+1} = f_h([h^l; p^l], { [h_j^l; p_j^l] }_{j in N_i}, e_{ij}^l), e^{l+1}_{ij} = f_e(h^l_i, h^l_j, e^l_{ij}), p^{l+1}_i = f_p(p^l_i, { p^l_j }_{j in N_i}, e^l_{ij}).
• 초기 노드/에지 특징 임베딩: h_i^{l=0} = LL_h(h_i^{in}) 및 e_{ij}^{l=0} = LL_e(e_{ij}^{in}).
• 위치 인코딩 손실: LapEig(p^{l=L})를 선택적으로 적용해 라플라스 고유벡터 유사 좌표계를 유도하고, 최종 총 손실은 TaskLoss([h^{L}; p^{L}]) + alpha Loss_LapEig(p^{L})로 정의한다.
• 구현: LSPE를 희소 MP-GNN(GatedGCN, PNA, SAN, GraphiT)과 Transformer GNN에 적용해 GatedGCN-LSPE, PNA-LSPE, SAN-LSPE, GraphiT-LSPE를 형성한다.

실험 결과

연구 질문

• RQ1 LSPE를 통해 구조적 인코딩과 위치 인코딩을 분리하는 것이 다양한 그래프 작업에서 MP-GNNs와 Transformer GNN의 표현력을 향상시키는가?
• RQ2 LSPE 내에서 RWPE와 LapPE가 초기 PE로서 아키텍처 및 데이터셋 간에 어떻게 비교되는가?
• RQ3 매 층마다 PE를 학습하는 것과 입력 또는 최종 층에 미리 계산된 PE를 주입하는 것의 실질적 차이는 무엇인가?
• RQ4 분자 벤치마크(ZINC, MOLTOX21, MOLPCBA) 및 비분자 그래프에서 LSPE의 실용적 성능 향상은 어느 정도인가?
• RQ5 LSPE가 표준 MP-GNNs 및 Transformer GNN 대비 확장성 및 학습 효율성을 유지하는가?

주요 결과

• 위치 인코딩 없이 GNN의 성능은 데이터셋 전반에서 저하되며, PE를 포함하면 성능이 크게 향상된다.
• LSPE에서 초기 PE로 RWPE를 사용하면 상당한 개선이 나타나며, 특히 일부 모델에서 ZINC에 대해 상대적 이득이 64.14%에 이른다.
• GatedGCN-LSPE가 ZINC 테스트 MAE 0.090으로 최상의 성능을 달성하며, 여러 베이스라인을 능가하고 도메인 비특화 GNN 중 최첨단에 도달한다.
• LSPE는 MOLTOX21 및 MOLPCBA에서도 비슷하거나 더 나은 성능을 제공하며 때로는 이 데이터셋에서 SOTA에 근접한다.
• 희소 GNN은 분자 그래프에서 LSPE를 사용하는 Transformer GNN보다 우수한 성능을 보이고, 학습 시간도 더 짧다.
• 매 층에서 위치 표현을 학습하는 것이 최상의 성능을 보이며, RWPE는 LapPE의 부호 모호성 문제 완화에 도움을 준다.