[논문 리뷰] GRPE: Relative Positional Encoding for Graph Transformer

Wonpyo Park, Woonggi Chang외 3명|arXiv (Cornell University)|2022. 01. 30.

Advanced Graph Neural Networks인용 수 15

한 줄 요약

이 논문은 그래프 선형화 없이 노드-위치 관계와 노드-엣지 상호작용을 동시에 모델링하는 그래프 트랜스포머를 위한 새로운 상대적 위치 인코딩 방법인 그래프 상대적 위치 인코딩(GRPE)을 제안한다. 주어진 노드 특징과 함께 위상 및 엣지 인코딩을 어텐션 맵과 값 표현 양쪽 모두에서 상호작용하게 하여, 그래프 분류, 회귀, 노드 분류 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, PCQM4Mv2에서 SOTA 성능을 기록하고 ZINC 및 MolHIV에서도 경쟁력 있는 성능을 보였다.

ABSTRACT

We propose a novel positional encoding for learning graph on Transformer architecture. Existing approaches either linearize a graph to encode absolute position in the sequence of nodes, or encode relative position with another node using bias terms. The former loses preciseness of relative position from linearization, while the latter loses a tight integration of node-edge and node-topology interaction. To overcome the weakness of the previous approaches, our method encodes a graph without linearization and considers both node-topology and node-edge interaction. We name our method Graph Relative Positional Encoding dedicated to graph representation learning. Experiments conducted on various graph datasets show that the proposed method outperforms previous approaches significantly. Our code is publicly available at https://github.com/lenscloth/GRPE.

연구 동기 및 목표

• 기존의 그래프 위치 인코딩 방법이 그래프 선형화(위치 정밀도 손실) 또는 편향 항목 사용(밀접한 특징-인코딩 통합 손실)으로 인해 약한 점을 해결하기 위해.
• 그래프 트랜스포머에서 상대적 노드-위치 관계와 노드-엣지 관계를 함께 모델링함으로써 구조적 정보를 유지하는 위치 인코딩 방법을 개발하기 위해.
• 자기어텐션 메커니즘 내부에서 그래프 위상과 엣지 유형을 직접 통합하여 표현 학습 성능을 향상시키기 위해.

제안 방법

• 노드 간 상대적 위상 거리(최대 $L$-호프 최단 경로까지)를 캡처하기 위한 학습 가능한 위치 인코딩 벡터 $\mathcal{P}$와 다양한 엣지 유형을 모델링하기 위한 엣지 인코딩 $\mathcal{E}$를 도입한다.
• 위상 및 엣지 인코딩을 어텐션 맵과 값 계산에 모두 통합하여, 자기어텐션 과정 중에 노드 특징과 구조적 인코딩 간의 상호작용을 가능하게 한다.
• 위상 인코딩의 수신 필드를 제어하기 위해 최대 최단 경로 거리 $L$을 사용하며, 실험에서는 $L=5$를 사용한다.
• 스케일드 도트프로덕트 어텐션 메커니즘의 쿼리, 키, 밸류 벡터와 상호작용하는 학습 가능한 투영을 통해 위치 인코딩을 적용한다.
• 자기어텐션 메커니즘 내에서 가상 노드를 글로벌 컨텍스트로 활용하여, 더 깊은 레이어가 전체 그래프를 주시할 수 있도록 한다.
• 공유 및 레이어별로 별도의 인코딩을 지원하며, 아블레이션 결과에서 공유로 인한 성능 향상이 미미하여, 개별 인코딩이 더 효과적임을 시사한다.

실험 결과

연구 질문

• RQ1 노드-위치 관계와 노드-엣지 상호작용을 동시에 모델링하는 상대적 위치 인코딩 방법이, 절대적 위치 인코딩 또는 편향 기반 상대적 인코딩보다 그래프 트랜스포머에서 더 나은 성능을 내는가?
• RQ2 위상 및 엣지 인코딩을 어텐션 맵과 값 표현에 모두 통합함으로써 그래프 표현 학습 작업의 성능에 어떤 영향을 미치는가?
• RQ3 과적합이나 중복을 피하면서도 구조적 정보를 효과적으로 캡처하기 위해 최적의 최대 최단 경로 거리 $L$은 얼마인가?
• RQ4 모든 트랜스포머 레이어에 걸쳐 위상 및 엣지 인코딩을 공유할 경우 성능이 떨어지며, 그 정도는 어느 정도인가?
• RQ5 GRPE의 어텐션 메커니즘은 레이어 간에 어떻게 진화하는가? 더 깊은 레이어에서 전체 그래프 인식이 가능해지는가?

주요 결과

• PCQM4Mv2 데이터셋에서 대규모 GRPE 모델은 최고의 검증 MAE 스코어를 기록하여, 가장 큰 분자 성질 예측 벤치마크에서 최신 기술 수준 성능을 입증하였다.
• ZINC 데이터셋에서 GRPE-Small는 테스트 MAE 0.093을 기록하여, 위치 인코딩이 없는 기준 모델(0.668)과 아블레이션 변형들보다 뚜렷이 뛰어난 성능을 보였다.
• 아블레이션 연구 결과, 위상 및 엣지 인코딩을 함께 사용함으로써 MAE가 0.267(위상 인코딩만)에서 0.147(값 인코딩 없이)로 감소하였고, 그래프 인코딩된 값이 추가로 적용되면서 0.093으로 더욱 향상되었다.
• 최대 최단 경로 거리 $L$을 늘릴수록 AUC 성능이 $L=4$까지 향상되었으나, $L=5$로 늘여도 추가로 향상되지 않아 $L=4$가 일반화 성능을 고려할 때 최적임을 시사한다.
• 위상 및 엣지 인코딩을 모든 레이어에 공유하면 MAE가 약간 향상되며(0.101에서 0.094로), 하지만 파라미터 수가 증가하여, 개별 인코딩이 더 효율적임을 시사한다.
• 어텐션 맵의 시각화 결과, 더 깊은 레이어에서 가상 노드를 향한 어텐션 비중이 증가함을 확인하였으며, 이는 점진적인 글로벌 컨텍스트 집합을 의미하며, 초기 레이어에서는 이웃 노드에 주로 집중함을 보였다.