[논문 리뷰] Graph Positional and Structural Encoder

Semih Cantürk, Renming Liu외 5명|arXiv (Cornell University)|2023. 07. 14.

Advanced Graph Neural NetworksComputer Science인용 수 3

한 줄 요약

이 논문은 그래프 구조에서 위치 및 구조 정보를 동시에 캡처하는 학습 가능한 그래프 인코더인 그래프 위치 및 구조 인코더(GPSE)를 소개한다. 이는 기존의 수작업으로 만든 위치 및 구조 인코딩(PSE)을 대체하며, 다양한 그래프 데이터셋에서 랜덤 노드 특징을 사용해 사전 훈련함으로써 표현력을 확보한다. GPSE는 ZINC 및 Peptides-struct에서 최고 성능을 기록하며, 크기, 연결성, 모odalities가 다른 데이터셋 간에도 효과적으로 일반화된다.

ABSTRACT

Positional and structural encodings (PSE) enable better identifiability of nodes within a graph, rendering them essential tools for empowering modern GNNs, and in particular graph Transformers. However, designing PSEs that work optimally for all graph prediction tasks is a challenging and unsolved problem. Here, we present the Graph Positional and Structural Encoder (GPSE), the first-ever graph encoder designed to capture rich PSE representations for augmenting any GNN. GPSE learns an efficient common latent representation for multiple PSEs, and is highly transferable: The encoder trained on a particular graph dataset can be used effectively on datasets drawn from markedly different distributions and modalities. We show that across a wide range of benchmarks, GPSE-enhanced models can significantly outperform those that employ explicitly computed PSEs, and at least match their performance in others. Our results pave the way for the development of foundational pre-trained graph encoders for extracting positional and structural information, and highlight their potential as a more powerful and efficient alternative to explicitly computed PSEs and existing self-supervised pre-training approaches. Our framework and pre-trained models are publicly available at https://github.com/G-Taxonomy-Workgroup/GPSE. For convenience, GPSE has also been integrated into the PyG library to facilitate downstream applications.

연구 동기 및 목표

• 그래프 신경망(GNN)에서 위치 및 구조 인코딩(PSE)을 통합하고 이식 가능한 방법이 부족한 문제를 해결하기 위해.
• 다양한 작업에서 효과가 떨어지고 일반화 능력이 떨어지는 수작업으로 만든 PSE의 한계를 극복하기 위해.
• 다양한 그래프 분포 간에 위치 및 구조 정보의 풍부하고 공유되는 표현을 학습하는 사전 훈련된 그래프 인코더를 개발하기 위해.
• 크기, 연결성 패턴, 모달리티가 다른 데이터셋 간에 PSE 표현의 전이 학습을 가능하게 하기 위해.
• 그래프 표현 학습에서 명시적으로 계산된 PSE와 자기지도 사전 훈련 방법의 실질적인 대안을 제공하기 위해.

제안 방법

• GPSE는 그래프 구조에서 여러 유형의 PSE—예를 들어 라플라시안 고유벡터, 랜덤 워크 인코딩, 히트 커널 특징 등—을 동시에 예측하도록 학습하는 학습 가능한 그래프 인코더이다.
• 사전 훈련 중에 표준 정규분포를 따르는 랜덤 노드 특징을 사용하여 대칭성을 깨뜨리고, 1-WL 제약 조건 하에서도 비이소모르픽 그래프를 구별할 수 있도록 보장한다.
• 다양한 PSE 유형 간의 평균 절대 오차(MAE)와 코사인 손실을 조합한 다중 작업 목적 함수를 통해 통합된 잠재 표현을 학습한다.
• 사전 훈련된 GPSE 인코더는 최종적인 GNN에서 미세조정하거나 기존의 PSE 또는 원본 노드 특징 대신 노드 특징으로 직접 적용할 수 있다.
• 메시지 전달 GNN(GIN, GatedGCN 등)과 그래프 트랜스포머 모두와 호환되어 광범위한 적용 가능성을 가진다.
• 이식성은 다양한 그래프 통계와 모달리티를 가진 데이터셋—분자, 사회적, 합성 그래프 포함—에 동일한 사전 훈련된 GPSE 인코더를 적용하여 평가된다.

Figure 1 : Overview of Graph Positional and Structural Encoder ( GPSE ) training and application.

실험 결과

연구 질문

• RQ1 단일 학습 가능한 인코더가 그래프 구조에서 다양한 위치 및 구조 인코딩 패턴을 효과적으로 캡처할 수 있는가?
• RQ2 크기, 연결성 패턴, 데이터 모달리티가 다른 데이터셋 간에 GPSE가 일반화되는가?
• RQ3 수작업으로 만든 PSE와 자기지도 사전 훈련 방법에 비해 GPSE가 최종 GNN 성능을 향상시키는가?
• RQ4 비등가 그래프를 구별할 수 있도록 도와주는 랜덤 노드 특징의 사용이 얼마나 필수적인가?
• RQ5 성능 저하 없이 명시적으로 계산된 PSE를 얼마나 잘 대체할 수 있는가?

주요 결과

• GPSE는 ZINC 및 Peptides-struct 벤치마크에서 전통적인 PSE를 사용하는 모델들을 능가하는 최고 성능을 기록한다.
• PCQM4Mv2 데이터셋에서, MolPCBA에서 사전 훈련하고 미세조정한 경우 GPSE는 테스트 MAE 0.1196 ± 0.0004를 달성하여 강력한 이식성을 보였다.
• 랜덤 노드 특징의 포함이 필수적이다: 노드 특징이 일정할 경우 비등가 그래프(예: HEXAGON 대 PENTAGON)를 구별하지 못하지만, 랜덤 특징이 있을 경우 성공적으로 분류한다.
• 하위 데이터셋에서 GPSE를 미세조정하면 성능이 일관되게 향상되며, GEOM에서는 MAE가 0.0707에서 0.0685로, ChEMBL에서는 0.0667에서 0.0643으로 감소한다.
• MolPCBA(323,555개 그래프)와 같은 대규모 데이터셋에서 GPSE를 사전 훈련하면 일반화 능력이 뛰어나지며, 훈련 크기가 증가함에 따라 테스트 손실이 0.06939(5%)에서 0.01219(80%)로 감소한다.
• 제거 실험 결과, 사전 훈련 중에 어떤 하나의 PSE 작업도 생략해도 영향이 최소한이므로, PSE 유형 간의 강건성과 상호 보완적 학습이 가능함을 시사한다.

Figure 2 : Virtual node, convolution type, and layers ablation using 5% MolPCBA for training GPSE .