[論文レビュー] Size Transferability of Graph Transformers with Convolutional Positional Encodings

Javier Porras-Valenzuela, Zhiyang Wang+1 more|arXiv (Cornell University)|Feb 16, 2026

Advanced Graph Neural Networks被引用数 0

ひとこと要約

論文は、転移可能な GNN ベースのポジショニングエンコーディングを持つグラフトランスフォーマーが、異なるスケールのグラフ間でサイズの転移可能性を継承することを証明し、RPEARL エンコードを用いた Sparse Graph Transformer (SGT) を理論と大規模グラフの実験で裏付ける。

ABSTRACT

Transformers have achieved remarkable success across domains, motivating the rise of Graph Transformers (GTs) as attention-based architectures for graph-structured data. A key design choice in GTs is the use of Graph Neural Network (GNN)-based positional encodings to incorporate structural information. In this work, we study GTs through the lens of manifold limit models for graph sequences and establish a theoretical connection between GTs with GNN positional encodings and Manifold Neural Networks (MNNs). Building on transferability results for GNNs under manifold convergence, we show that GTs inherit transferability guarantees from their positional encodings. In particular, GTs trained on small graphs provably generalize to larger graphs under mild assumptions. We complement our theory with extensive experiments on standard graph benchmarks, demonstrating that GTs exhibit scalable behavior on par with GNNs. To further show the efficiency in a real-world scenario, we implement GTs for shortest path distance estimation over terrains to better illustrate the efficiency of the transferable GTs. Our results provide new insights into the understanding of GTs and suggest practical directions for efficient training of GTs in large-scale settings.

研究の動機と目的

• Graph Transformers (GTs) が GNN ベースのポジショニングエンコーディングを用いて、グラフサイズを越えた一般化をどのように実現するかの動機づけと分析。
• GTs とマンフォールドニューラルネットワーク (MNNs) の理論的関係をリミットモデルを通じて確立。
• RPEARL エンコーディングとアテンションマスキングを備えた転送可能で実用的なスパース GT の提案。
• 標準的なグラフベンチマークと terrain SPD 推定タスクでの広範な実験を通じた転送性の検証。

提案手法

• RPEARL を用いた GNN ベースのポジショニングエンコーディングを入力とする自己アテンション骨子を持つ GT のモデル化。
• 転送可能なエンコーディングが GT に転送性を誘導することを示すマンフォールドリミットの枠組みの適用。
• リプシッツ性、上限演算子、転送可能なエンコーディングを保証する仮定を明示し、マンフォールドトランスフォーマー (MT) への収束を保証。
• k-hop 還元でアテンションを制限した Sparse GT を定義し、dense GT に類似した転送性境界を証明。
• RPEARL エンコーディングとマスキングを用いた実装の提案と、訓練効率と転送性を経験的に分析。

Figure 1 : Diagram of Graph Transformer (GT) with RPEARL Positional Encodings. The graph ${\mathbf{G}}$ is sampled from manifold ${\mathcal{M}}$ . The graph structure is processed by RPEARL using a graph neural network. The positional encodings are added to the node features and passed to the graph

実験結果

リサーチクエスチョン

• RQ1 転送可能な GNN ポジショニングエンコーディングを備えた GT は、訓練中に見ていないより大きいグラフへ一般化できるか？
• RQ2 GT の転送性はマンフォールドリミット枠組みを介して確立され、GNN エンコードから GT のアテンション機構へ転移できるか？
• RQ3 k-hop マスキングによるスパース性は GT の転送性と計算量にどう影響するか？
• RQ4 RPEARL エンコードは、標準的な GNN/SAN 系のバリアントを超える表現力と転送性を向上させるか？
• RQ5 提案された Sparse GT と RPEARL アプローチは、大規模実世界グラフや terrain SPD タスクで競争力があるか？

主な発見

Architecture	Accuracy	% vs. GT
GT (no PE)	31.33	–
GT + RPEARL	34.63	+10.53%
GT + Mask	39.69	+26.68%
GT + Mask + RPEARL	49.70	+58.63%
GT + Mask + RE	31.01	-1.02%
GT + Mask + RPEARL + RE	46.55	+48.58%

• 転送可能なエンコードを持つ GT はサイズ転送性を継承し、小さなグラフで訓練して大きなグラフで再訓練なしにデプロイできる。
• GTs とマンフォールドトランスフォーマーの点ごとの差は、グラフサイズとともに O((log N / N)^(1/d)) の速度で減衰する。
• RPEARL を用いた Sparse GT は転送性を維持し、dense GT と同等の性能で学習速度を最大約100倍向上させる大幅な速度改善を実現。
• MASKing を伴う RPEARL はアブレーションの中で最も強い転送性向上を提供し、SNAP-patents における PE なしの GT より最大で約58.6% のテスト精度向上。
• ArXiv-year、MAG、Reddit、SNAP などの標準ベンチマークで、転送性のパターンが観察され、大規模グラフで GNNs および dense GTs に近づくか超える性能を示す。

Figure 2 : Transferability plots. For each dataset, the $x$ axis represents the train graph sizes as a proportion of the largest graph $(\alpha)$ , and the $y$ axis is the test accuracy at the full-sized graph. The titles show dataset name and largest graph size.