[논문 리뷰] Rewiring with Positional Encodings for Graph Neural Networks

Rickard Brüel‐Gabrielsson, Mikhail Yurochkin외 1명|arXiv (Cornell University)|2022. 01. 29.

Advanced Graph Neural Networks인용 수 12

한 줄 요약

이 논문은 모델에 종속되지 않는 방법을 제안하여, $r$-hop 이웃 간선으로 그래프를 재구성하고 위치 인코딩을 노드/엣지 특성으로 통합함으로써 그래프 신경망(GNNs)의 성능을 햖थ하고 과도한 압축(over-squashing) 문제를 크게 완화한다. 이는 최소한의 계산 비용으로도 성능을 크게 향상시킨다. 작은 $r$ 값과 가상의 CLS-노드를 사용함으로써 표준 GNNs와 트랜스포머보다도 여러 벤치마크에서 경쟁적인 성능을 달성한다.

ABSTRACT

Several recent works use positional encodings to extend the receptive fields of graph neural network (GNN) layers equipped with attention mechanisms. These techniques, however, extend receptive fields to the complete graph, at substantial computational cost and risking a change in the inductive biases of conventional GNNs, or require complex architecture adjustments. As a conservative alternative, we use positional encodings to expand receptive fields to $r$-hop neighborhoods. More specifically, our method augments the input graph with additional nodes/edges and uses positional encodings as node and/or edge features. We thus modify graphs before inputting them to a downstream GNN model, instead of modifying the model itself. This makes our method model-agnostic, i.e., compatible with any of the existing GNN architectures. We also provide examples of positional encodings that are lossless with a one-to-one map between the original and the modified graphs. We demonstrate that extending receptive fields via positional encodings and a virtual fully-connected node significantly improves GNN performance and alleviates over-squashing using small $r$. We obtain improvements on a variety of models and datasets and reach competitive performance using traditional GNNs or graph Transformers.

연구 동기 및 목표

• 기존 GNN 아키텍처를 수정하지 않고 1-호프 이웃 범위를 초월하는 수용 영역을 확장하여 GNN에서 발생하는 과도한 압축과 부족한 정보 전파 문제를 해결하고자 한다.
• 노드 수에 따라 제곱적으로 증가하는 전체 그래프 어텐션 메커니즘의 대안으로서 계산적으로 실현 가능한 효율적인 방법을 탐색하고자 한다.
• 적절한 위치 인코딩과 함께 작은 수준의 수용 영역 크기($r$) 증가가 성능 향상에 상당한 기여를 한다는 것을 입증하고자 한다.
• 다양한 위치 인코딩을 사용한 수용 영역 확장에서의 계산-성능 트레이드오프를 체계적으로 분석하고자 한다.
• 이 방법이 표준 GNN과 그래프 트랜스포머 모두와 호환되어 더 넓은 적용 가능성을 가짐을 보여주고자 한다.

제안 방법

• 기존 그래프 구조에서 $r$-호프 거리 이내의 모든 노드 간에 간선을 추가하여 입력 그래프를 확장한다.
• 노드 및 엣지 특성으로서 최단경로 길이, 스펙트럴 특성, 인접행렬의 거듭제곱 등의 위치 인코딩을 사용한다.
• 장거리 메시지 전파를 향상시키고 과도한 압축을 줄이기 위해 가상의 CLS-노드(전역 소스이자 싱크)를 추가한다.
• 수정된 그래프를 기존의 GNN 또는 트랜스포머 기반 GNN 모델에 그대로 입력하여 아키텍처 변경 없이 적용 가능하므로, 이 방법은 모델에 종속되지 않는다.
• 작은 $r$ 값일 경우 원래 그래프의 희소성 유지로 인해 전체 그래프 어텐션의 제곱형 비용을 피할 수 있다.
• 모델의 $r$ 값 조정과 다양한 위치 인코딩 기법 선택을 통해 계산 비용과 성능 사이의 제어 가능한 트레이드오프를 가능하게 한다.

실험 결과

연구 질문

• RQ1 그래프 재구성으로 $r$-호프 이웃 영역으로 수용 영역을 확장하면, 계산 비용을 최소화하면서도 GNN 성능 향상이 가능할까?
• RQ2 $r$-호프 재구성과 함께 사용할 때, 최단경로, 스펙트럴, 인접행렬 등의 다양한 위치 인코딩 기법 간 성능 및 효율성은 어떻게 비교될까?
• RQ3 CLS-노드를 추가하면, 제한된 수용 영역을 가진 GNN에서 성능 향상과 과도한 압축 완화에 얼마나 기여할까?
• RQ4 다양한 그래프 데이터셋에서 성능 향상과 계산 비용 사이의 균형을 고려할 때, 최적의 $r$ 값은 무엇일까?
• RQ5 수용 영역 크기를 늘일수록 GNN에서 동질성(homophily)을 인덕티브 바이어스로 의존하는 정도가 감소하는가?

주요 결과

• 인접행렬 또는 스펙트럴 위치 인코딩과 함께 CLS-노드를 사용하여 $r=2$ 또는 $r=3$로 설정할 경우, Cora, PubMed, ZINC 등 여러 벤치마크에서 GNN 성능이 크게 향상된다.
• CLS-노드의 경우 $r=1$일 때 $r=2$ 또는 $r=3$의 성능을 도달할 수 있을 정도로 효과적이며, 최소한의 비용으로 장거리 연결성을 향상시킨다.
• 실행 시간은 그래프의 밀도에 비례하며, $r$ 값을 늘일수록 밀도가 낮은 경우에도 성능 향상이 뚜렷하게 나타나며, 평균 밀도가 0.5를 초과할 때 최적의 성능를 달성하는 경우가 많다.
• ZINC에서는 스펙트럴 인코딩이 인접행렬 인코딩보다 성능이 열 劣하나, 다른 데이터셋에서는 경쟁적인 성능를 보이며, 이는 데이터셋에 따라 민감도가 다름을 시사한다.
• 이 방법은 동질성(homophily)을 인덕티브 바이어스로 의존하는 정도를 감소시키며, 현실 세계의 그래프에서 낮은 동질성 상황에서도 확장된 수용 영역이 보완 역할을 할 수 있음을 시사한다.
• 표준 GNN과 그래프 트랜스포머 모두와의 호환성을 입증하며, 다양한 아키텍처에서 경쟁 가능한 성능을 달성함으로써 광범위한 적용성과 효과성을 입증한다.