[논문 리뷰] Size Transferability of Graph Transformers with Convolutional Positional Encodings

Javier Porras-Valenzuela, Zhiyang Wang외 1명|arXiv (Cornell University)|2026. 02. 16.

Advanced Graph Neural Networks인용 수 0

한 줄 요약

본 논문은 그래프 트랜스포머가 전이 가능한 GNN 기반 위치 인코딩을 사용했을 때 서로 다른 규모의 그래프에서도 크기-전이 가능성을 상속한다는 것을 증명하고, RPEARL 인코딩을 갖춘 Sparse Graph Transformer (SGT)를 이론과 대규모 그래프 실험으로 뒷받침한다.

ABSTRACT

Transformers have achieved remarkable success across domains, motivating the rise of Graph Transformers (GTs) as attention-based architectures for graph-structured data. A key design choice in GTs is the use of Graph Neural Network (GNN)-based positional encodings to incorporate structural information. In this work, we study GTs through the lens of manifold limit models for graph sequences and establish a theoretical connection between GTs with GNN positional encodings and Manifold Neural Networks (MNNs). Building on transferability results for GNNs under manifold convergence, we show that GTs inherit transferability guarantees from their positional encodings. In particular, GTs trained on small graphs provably generalize to larger graphs under mild assumptions. We complement our theory with extensive experiments on standard graph benchmarks, demonstrating that GTs exhibit scalable behavior on par with GNNs. To further show the efficiency in a real-world scenario, we implement GTs for shortest path distance estimation over terrains to better illustrate the efficiency of the transferable GTs. Our results provide new insights into the understanding of GTs and suggest practical directions for efficient training of GTs in large-scale settings.

연구 동기 및 목표

• Graph Transformers (GTs)가 GNN 기반 위치 인코딩을 사용하여 그래프 크기에 따라 일반화될 수 있는지 동기 부여 및 분석.
• 극한 모델을 통한 이론적 연결 고리를 통해 GTs와 매니폴드 신경망(MNNs)의 관계를 확립.
• RPEARL 인코딩과 주의 마스킹을 갖춘 전이 가능하고 실용적인 희소 GT를 제안.
• 표준 그래프 벤치마크 및 지형 SPD 추정 작업에서의 광범위한 실험을 통해 전이 가능성을 검증.

제안 방법

• GNN 기반 위치 인코딩(RPEARL)을 피드하는 자체 어텐션 백본으로 GTs를 모델링.
• 전이 가능한 인코딩이 GTs의 전이 가능성을 유도함을 보여주기 위한 매니폴드 한계 프레임워크를 사용.
• 리피시( Lipschitz) 및 경계 있는 연산자와 전이 가능한 인코딩을 보장하는 가정들을 제시하여 매니폴드 트랜스포머(MT)로의 수렴을 보장.
• k-hop 이웃에 한정된 어텐션으로 희소 GT를 정의하고, 밀집 GT와 유사한 전이 가능성 경계를 입증.
• RPEARL 인코딩과 마스킹을 적용한 실용적 구현을 제안하고, 학습 효율성과 전이 가능성을 실증적으로 분석.

Figure 1 : Diagram of Graph Transformer (GT) with RPEARL Positional Encodings. The graph ${\mathbf{G}}$ is sampled from manifold ${\mathcal{M}}$ . The graph structure is processed by RPEARL using a graph neural network. The positional encodings are added to the node features and passed to the graph

실험 결과

연구 질문

• RQ1 전이 가능한 GNN 위치 인코딩을 갖춘 GT가 학습 중 보지 못한 더 큰 그래프에 일반화되는가?
• RQ2 매니폴드 한계 프레임워크를 통해 GT의 전이 가능성을 확립하고 GNN 인코딩에서 GT 어텐션 메커니즘으로 전달될 수 있는가?
• RQ3 k-hop 마스킹에 의한 희소성이 GT의 전이 가능성과 계산에 어떤 영향을 미치는가?
• RQ4 RPEARL 인코딩이 표준 GNN/SAN 변형보다 GT의 표현력과 전이 가능성을 향상시키는가?
• RQ5 제안된 Sparse GT 및 RPEARL 접근 방식이 대규모 실제 그래프 및 지형 SPD 작업에서 경쟁력 있는 성능을 보이는가?

주요 결과

• 전이 가능한 인코딩을 갖춘 GT는 크기 전이 가능성을 상속하여, 작은 그래프에서 학습하고 더 큰 그래프에서 재학습 없이도 적용할 수 있다.
• GT와 매니폴드 트랜스포머 사이의 점별 차이는 그래프 크기에 따라 감소하며, 속도는 O((log N / N)^(1/d))의 비율로 감소한다.
• RPEARL을 갖춘 Sparse GT는 전이 가능성을 유지하고 밀집 GT와 비교했을 때 학습 속도가 최대 100배까지 빨라지며 성능은 유사하게 유지된다.
• 마스크링을 포함한 RPEARL은 변형 중에서 가장 강력한 전이 가능성 향상을 제공하며, SNAP-patents에서 PE가 없는 GT 대비 테스트 정확도를 최대 ~58.6% 향상시킨다.
• 표준 벤치마크(ArXiv-year, MAG, Reddit, SNAP)에서 GT의 전이 패턴을 보이고, 대형 그래프에서 GNN과 밀집 GT에 근접하거나 이를 상회하는 성능을 보인다.

Figure 2 : Transferability plots. For each dataset, the $x$ axis represents the train graph sizes as a proportion of the largest graph $(\alpha)$ , and the $y$ axis is the test accuracy at the full-sized graph. The titles show dataset name and largest graph size.