[論文レビュー] LRGB: Long Range Graph Benchmark

Vijay Prakash Dwivedi, Ladislav Rampášek+5 more|arXiv (Cornell University)|Jun 16, 2022

Advanced Graph Neural Networks被引用数 31

ひとこと要約

本論文は Long Range Graph Benchmark（LRGB）を紹介し、長距離の相互作用推論を必要とする五つのデータセット（PascalVOC-SP、COCO-SP、PCQM-Contact、Peptides-func、Peptides-struct）を提示し、完全連結 Graph Transformers が局所的 MP-GNN に対してこれらのタスクで優れていることを示す。

ABSTRACT

Graph Neural Networks (GNNs) that are based on the message passing (MP) paradigm exchange information between 1-hop neighbors to build node representations at each layer. In principle, such networks are not able to capture long-range interactions (LRI) that may be desired or necessary for learning a given task on graphs. Recently, there has been an increasing interest in development of Transformer-based methods for graphs that can consider full node connectivity beyond the original sparse structure, thus enabling the modeling of LRI. However, MP-GNNs that simply rely on 1-hop message passing often fare better in several existing graph benchmarks when combined with positional feature representations, among other innovations, hence limiting the perceived utility and ranking of Transformer-like architectures. Here, we present the Long Range Graph Benchmark (LRGB) with 5 graph learning datasets: PascalVOC-SP, COCO-SP, PCQM-Contact, Peptides-func and Peptides-struct that arguably require LRI reasoning to achieve strong performance in a given task. We benchmark both baseline GNNs and Graph Transformer networks to verify that the models which capture long-range dependencies perform significantly better on these tasks. Therefore, these datasets are suitable for benchmarking and exploration of MP-GNNs and Graph Transformer architectures that are intended to capture LRI. arXiv, Papers with Code

研究の動機と目的

• グラフにおける長距離相互作用（LRI）推論を必要とするベンチマークの必要性を動機づける。
• 視覚と化学の領域を横断する長距離依存性を重視した五つの実世界データセットを紹介する。
• これらのデータセットで局所的な MP-GNN と完全連結 Graph Transformer をベンチマークする。
• LRI 対応モデルが従来の MP-GNN より有利であると示す要因を分析する。
• 今後の LRI 専用グラフアーキテクチャを導く基準値と洞察を提供する。

提案手法

• 五つのデータセット（PascalVOC-SP、COCO-SP、PCQM-Contact、Peptides-func、Peptides-struct）を LRI ベンチマークとして提案する。
• 画像からのグラフは SLIC 超ピクセル（PascalVOC-SP、COCO-SP）または分子/ペプチド表現（PCQM-Contact、Peptides データセット）を用いて構築する。
• グラフサイズ、タスクの性質、およびタスクへのグローバル構造の寄与といった要因でデータセットを特徴付け、LRI の関連性を正当化する。
• 局所的な MP-GNN（GCN、GCNII、GINE、GatedGCN）と Graph Transformer（Transformer+LapPE、SAN、SAN+RWSE、Laplacian PE の有無を問わず）を固定パラメータ予算（約500k）で評価する。
• PCQM-Contact を遠距離・接触タスクとして 3D 空間で長距離相互作用の理解を強制するように位置づける。

実験結果

リサーチクエスチョン

• RQ1 長距離情報伝播が可能なモデルは、提案された LRGB タスクで局所的な MP-GNN を上回るか。
• RQ2 グラフサイズ、タスクの性質、グローバル構造は長距離モデリングの必要性にどう影響するか。
• RQ3 位置エンコーディングやグローバルエンコーディングは LRGB タスクで MP-GNN の性能を改善するか。
• RQ4 LRI に焦点を当てたグラフベンチマークの限界と今後の方向性は何か。

主な発見

• 完全連結の Graph Transformer は、同じパラメータ予算の下で一般的に局所 MP-GNN よりも LRGB データセットで高性能を示す。
• 受容野が限定された局所的 MP-GNN は、長距離信号を必要とする大規模グラフで過学習または性能不足になることが多い。
• 位置エンコーディングとグローバル構造情報は LRGB タスクで MP-GNN の性能を改善できるが、LRI 能力を備えたトランスフォーマー系モデルはより大きな改善を示す。
• Peptides データセットは距離のある相互作用を捉える必要性を強調する大規模グラフを示している。
• PascalVOC-SP と COCO-SP は古典的ベンチマークよりも大きなグラフ直径と平均最短経路長を示し、LRI の関連性を強調する。