[論文レビュー] Geodesic Graph Neural Network for Efficient Graph Representation Learning

Lecheng Kong, Yixin Chen+1 more|arXiv (Cornell University)|Oct 6, 2022

Advanced Graph Neural Networks被引用数 9

ひとこと要約

本稿では、1回のGNN実行で測地線（最短経路）情報を統合することにより表現力と効率性を著しく向上させる、Geodesic Graph Neural Network (GDGNN) という新しいGNNフレームワークを提案する。GDGNNは、複数回のサブグラフベースの手法と比較して著しく短い実行時間で、多数のグラフ学習タスクで最先端の性能を達成する。

ABSTRACT

Graph Neural Networks (GNNs) have recently been applied to graph learning tasks and achieved state-of-the-art (SOTA) results. However, many competitive methods run GNNs multiple times with subgraph extraction and customized labeling to capture information that is hard for normal GNNs to learn. Such operations are time-consuming and do not scale to large graphs. In this paper, we propose an efficient GNN framework called Geodesic GNN (GDGNN) that requires only one GNN run and injects conditional relationships between nodes into the model without labeling. This strategy effectively reduces the runtime of subgraph methods. Specifically, we view the shortest paths between two nodes as the spatial graph context of the neighborhood around them. The GNN embeddings of nodes on the shortest paths are used to generate geodesic representations. Conditioned on the geodesic representations, GDGNN can generate node, link, and graph representations that carry much richer structural information than plain GNNs. We theoretically prove that GDGNN is more powerful than plain GNNs. We present experimental results to show that GDGNN achieves highly competitive performance with SOTA GNN models on various graph learning tasks while taking significantly less time.

研究の動機と目的

• 構造的に似ているが異なるサブグラフ（例：サイクル vs. パス）を区別できない標準GNNの表現力の限界を解消すること。
• 複数回のGNN実行や複雑なサブグラフラベル付けを必要とする、高表現力を持つ既存のGNNの非効率性を克服すること。
• 反復的またはサブグラフベースの計算を伴わずに、GNNに測地線（最短経路）情報を統合する汎用的で効率的なフレームワークを構築すること。
• 1回のGNN実行で得られる測地線補強特徴に基づく条件付き構造的文脈を活用し、ノード、リンク、グラフの表現を豊かにすること。
• カスタムラベル付けや複数回の学習ランを必要とせず、測地線情報のみでノード、リンク、グラフレベルのタスクで高い性能を達成できることを実証すること。

提案手法

• GDGNNは、初期のノード表現学習のための標準GNNユニットと、測地線補強表現を抽出する測地線プーリングユニットの2つのコンponentから構成される。
• 各ターゲットノード、エッジ、またはグラフに対して、グラフ距離計算を用いてタスク固有の測地線（関連ノード間の最短経路）を同定する。
• これらの測地線に沿ったノードのGNN埋め込みをプールして、条件付き構造的文脈を符号化した測地線表現を形成する。
• 測地線表現を用いて、最終的なノード、リンク、またはグラフ表現を条件づけ、1-WL表現力を超える構造的表現力を強化する。
• フルグラフを1回のGNNパスで処理できるエンドツーエンド学習をサポートし、繰り返しのサブグラフ抽出やGNN推論を回避する。
• 本手法は汎用的であり、GCN や GIN などの任意のベースGNNアーキテクチャと組み合わせて使用可能で、性能向上が期待できる。

実験結果

リサーチクエスチョン

• RQ1 複数回のGNN実行やサブグラフラベル付けを必要とせず、最短経路からの測地線情報をGNN表現に統合できるか？
• RQ2 測地線補強表現に条件づけることで、特に非同型な部分構造を区別できるような、標準GNNを上回る表現力が得られるか？
• RQ3 測地線プーリングを用いた1回のGNNパスで、ノード、リンク、グラフレベルのタスクにおいて競争力のある性能を達成できるか、かつ高い効率性を維持できるか？
• RQ4 複雑なサブグラフラベル付けや高次元メッセージパッシングに依存する最先端GNNと比較して、GDGNNの性能はどの程度か？
• RQ5 測地線に基づく条件付き表現は、現実世界のグラフにおける位置的・構造的情報を十分に捉えられるか？

主な発見

• OGBG-MOLPCBAデータセットでは、GDGINを用いてテスト精度28.59%を達成し、ベースラインのGIN（27.03%）とLSPE（28.40%）を上回る最先端の性能を発揮した。
• TU coraデータセットにおけるグラフ分類では、GDGINが77.8%の精度を達成し、Nested-GIN（77.8%）を上回り、GIN（71.6%）を著しく上回った。
• USA-Airportデータセットにおけるノード分類では、GDGINが64.36%の精度を達成し、DE-GNN（64.16%）とGIN（57.43%）を上回り、表現力の向上を実証した。
• GDGNNは高い効率性を維持しており、サブグラフベース手法がグラフサイズの数百倍の計算を要するのに対し、フルグラフを1回のGNNパスで処理する。
• 合成データセットでは、4層のGDGNNがEXPおよびCSLタスクで100%の精度を達成し、ユニバーサルなPF-GNNと同等の性能を示し、理論的表現力の妥当性を検証した。
• アブレーションスタディの結果、測地線に基づく条件づけが、特にノード間の相対的構造的関係を捉える上で顕著な性能向上をもたらすことが確認された。