[論文レビュー] Rewiring with Positional Encodings for Graph Neural Networks

Rickard Brüel‐Gabrielsson, Mikhail Yurochkin+1 more|arXiv (Cornell University)|Jan 29, 2022

Advanced Graph Neural Networks被引用数 12

ひとこと要約

この論文は、$r$-ホップ近傍エッジを用いたグラフの再接続と、ノード/エッジ特徴量としての位置符号化を組み合わせることで、GNNの性能を向上させるとともに、最小限の計算コストで過剰圧縮を軽減する、モデルに依存しない手法を提案している。このアプローチは、小さな$r$値と仮想のCLSノードを用いることで、標準的なGNNやTransformerを凌駕する優れた結果を達成しており、複数のベンチマークで顕著な性能向上を示している。

ABSTRACT

Several recent works use positional encodings to extend the receptive fields of graph neural network (GNN) layers equipped with attention mechanisms. These techniques, however, extend receptive fields to the complete graph, at substantial computational cost and risking a change in the inductive biases of conventional GNNs, or require complex architecture adjustments. As a conservative alternative, we use positional encodings to expand receptive fields to $r$-hop neighborhoods. More specifically, our method augments the input graph with additional nodes/edges and uses positional encodings as node and/or edge features. We thus modify graphs before inputting them to a downstream GNN model, instead of modifying the model itself. This makes our method model-agnostic, i.e., compatible with any of the existing GNN architectures. We also provide examples of positional encodings that are lossless with a one-to-one map between the original and the modified graphs. We demonstrate that extending receptive fields via positional encodings and a virtual fully-connected node significantly improves GNN performance and alleviates over-squashing using small $r$. We obtain improvements on a variety of models and datasets and reach competitive performance using traditional GNNs or graph Transformers.

研究の動機と目的

• GNNにおける過剰圧縮と未到達問題を解消するため、GNNアーキテクチャを変更せずに1ホップを超える受容 field を拡大すること。
• ノード数の二乗に比例する全グラフアテンション機構の代替手段として、計算的に実行可能で効率的な代替策を検討すること。
• 適切な位置符号化を用いることで、受容 field のサイズをわずかに拡大する（$r$をわずかに増加させる）ことで顕著な性能向上が得られることを示すこと。
• さまざまな位置符号化手法を用いた受容 field 拡大における計算コストと性能のトレードオフを体系的に分析すること。
• 本手法が標準的なGNNとグラフTransformerの両方と互換性を持つこと、広範な適用可能性を示すこと。

提案手法

• 本手法は、元のグラフ構造において$r$-ホップ距離内のすべてのノード間にエッジを追加することで、入力グラフを拡張する。
• ノードおよびエッジ特徴量として、最短経路長、スペクトル特徴、隣接行列の累乗といった位置符号化を、拡張されたグラフに適用する。
• 長距離メッセージパッシングを向上させ、過剰圧縮を軽減するために、仮想のCLSノード（グローバルなソースおよびシンク）を追加する。
• 変更されたグラフを、アーキテクチャを変更せずに既存の任意のGNNまたはTransformerベースのGNNモデルに供給可能であり、この手法はモデルに依存しない。
• 小さな$r$に対しては元のグラフのスパarsityを保ち、全グラフアテンションの二乗コストを回避する。
• パrameter $r$ の調整と、さまざまな位置符号化方式の選択により、計算コストと性能の制御可能なトレードオフを実現できる。

実験結果

リサーチクエスチョン

• RQ1 $r$-ホップ近傍への受容 field の拡大をグラフ再接続によって実現することで、GNNの性能向上を達成しつつ、計算効率を維持できるか？
• RQ2 $r$-ホップ再接続と組み合わせた場合、最短経路、スペクトル、隣接行列といった異なる位置符号化方式の性能と効率性はどのように比較できるか？
• RQ3 CLSノードの追加が、受容 field が限られたGNNにおける性能向上と過剰圧縮の軽減にどの程度寄与するか？
• RQ4 多様なグラフデータセットにおいて、性能向上と計算コストのバランスを最適化するための$r$の最適値は何か？
• RQ5 $r$を増加させることで、GNNにおける同型性（homophily）をインダクティブバイアスとしての依存度が低下するか？

主な発見

• 隣接行列またはスペクトル位置符号化を用い、CLSノードを追加した$r=2$または$r=3$の設定は、Cora、PubMed、ZINCを含む複数のベンチマークでGNNの性能を顕著に向上させる。
• CLSノードは、$r=1$の設定で$r=2$または$r=3$と同等の性能を達成しており、最小限のコストで長距離接続性を向上させることの有効性を示している。
• 実行時間はグラフの密度にほぼ比例し、$r$を増加させることで低密度でも顕著な性能向上が得られる。平均密度が0.5を超えた場合に最適な性能が得られることが一般的に観察された。
• ZINCではスペクトル位置符号化が隣接行列符号化より性能が劣るが、他のデータセットでは競争力があるため、データセット依存の感受性が示された。
• 本手法により、GNNにおける同型性への依存度が低下し、実世界のグラフで同型性が低い場合でも、拡大された受容 field がそれを補完できることを示唆している。
• 標準的なGNNやグラフTransformerと同等の性能を達成しており、アーキテクチャを問わず広範にわたる互換性と有効性を示している。