[論文レビュー] Graph Positional and Structural Encoder

Semih Cantürk, Renming Liu+5 more|arXiv (Cornell University)|Jul 14, 2023

Advanced Graph Neural NetworksComputer Science被引用数 3

ひとこと要約

本稿では、グラフのトポロジーから位置的および構造的情報を統合的に捉える学習可能グラフ符号化器であるGraph Positional and Structural Encoder (GPSE)を提案する。このGPSEは、GNNにおける手作業で設計された位置的・構造的符号化（PSE）の代わりに、学習可能なものとして位置的および構造的情報を同時に捉える。GPSEは、多様なグラフデータセットでランダムなノード特徴量を用いて事前学習することで表現力を確保し、ZINCおよびPeptides-structで最先端の性能を達成するとともに、サイズ、接続性、モダリティが異なるデータセット間でも効果的に一般化する。

ABSTRACT

Positional and structural encodings (PSE) enable better identifiability of nodes within a graph, rendering them essential tools for empowering modern GNNs, and in particular graph Transformers. However, designing PSEs that work optimally for all graph prediction tasks is a challenging and unsolved problem. Here, we present the Graph Positional and Structural Encoder (GPSE), the first-ever graph encoder designed to capture rich PSE representations for augmenting any GNN. GPSE learns an efficient common latent representation for multiple PSEs, and is highly transferable: The encoder trained on a particular graph dataset can be used effectively on datasets drawn from markedly different distributions and modalities. We show that across a wide range of benchmarks, GPSE-enhanced models can significantly outperform those that employ explicitly computed PSEs, and at least match their performance in others. Our results pave the way for the development of foundational pre-trained graph encoders for extracting positional and structural information, and highlight their potential as a more powerful and efficient alternative to explicitly computed PSEs and existing self-supervised pre-training approaches. Our framework and pre-trained models are publicly available at https://github.com/G-Taxonomy-Workgroup/GPSE. For convenience, GPSE has also been integrated into the PyG library to facilitate downstream applications.

研究の動機と目的

• グラフニューラルネットワーク（GNN）における位置的・構造的符号化（PSE）を統合的かつ転移可能な方法で学習するための統一的かつ汎用的な手法の欠如に応えること。特に、グラフトランスフォーマーにおいて。
• 異なるタスクで効果がばらつき、一般化性に欠ける手作業で設計されたPSEの限界を克服すること。
• 多様なグラフ分布にわたる位置的および構造的情報の豊かな共有表現を学習する事前学習済みグラフ符号化器を開発すること。
• サイズ、接続性パターン、モダリティが異なるデータセット間でPSE表現の転移学習を可能にすること。
• グラフ表現学習における明示的な計算によるPSEと自己教師付き事前学習手法の両方の代替案を提供すること。

提案手法

• GPSEは、グラフ構造から複数のタイプのPSE（例：ラプラシアン固有ベクトル、ランダムウォーク符号化、ヒートカーネル特徴）を同時に予測する学習可能なグラフ符号化器である。
• 事前学習段階では、非同型のグラフが1-WL制限下でも区別可能であるように、ノード特徴量を標準正規分布からのランダム値として使用して対称性を破る。
• 統一された潜在表現を学習するために、複数のPSEタイプにわたる平均絶対誤差（MAE）とコサイン類似度損失を組み合わせたマルチタスク目的関数を用いる。
• 事前学習済みのGPSE符号化器は、微調整または直接、従来のPSEや元のノード特徴量の代わりに、下流のGNNのノード特徴量として適用可能である。
• メッセージパッシングGNN（例：GIN、GatedGCN）とグラフトランスフォーマーの両方と互換性があるため、広範な適用性を有する。
• 転送性の評価は、分子、社会的、合成的グラフを含む、異なるグラフ統計とモダリティを持つデータセットに同じ事前学習済みGPSE符号化器を適用することで行う。

Figure 1 : Overview of Graph Positional and Structural Encoder ( GPSE ) training and application.

実験結果

リサーチクエスチョン

• RQ1 1つの学習可能な符号化器が、グラフトポロジーから多様な位置的および構造的符号化パターンを効果的に捉えることができるか？
• RQ2 GPSEは、サイズ、接続性パターン、データモダリティが異なるデータセット間で一般化することができるか？
• RQ3 GPSEは、手作業で設計されたPSEや自己教師付き事前学習手法と比較して、下流のGNN性能を向上させることができるか？
• RQ4 ランダムノード特徴量の使用が、非同型グラフを区別できるようにする上で、どれほど重要か？
• RQ5 性能の低下を伴わずに、明示的に計算されたPSEの代替としてGPSEをどれほど活用できるか？

主な発見

• GPSEはZINCおよびPeptides-structベンチマークで最先端の性能を達成し、従来のPSEを用いたモデルを上回った。
• PCQM4Mv2データセットでは、MolPCBAで事前学習し微調整した場合、テストMAEが0.1196 ± 0.0004に達し、優れた転送性を示した。
• ランダムノード特徴量の導入が不可欠である：ノード特徴量が定数の場合、GPSEは非同型グラフ（例：HEXAGON対PENTAGON）を区別できないが、ランダム特徴量を用いれば成功する。
• 下流データセットでのGPSEの微調整は一貫して性能向上をもたらし、GEOMではMAEが0.0707から0.0685に、ChEMBLでは0.0667から0.0643に低下した。
• MolPCBA（323,555個のグラフ）などの大規模データセットで事前学習することで、強力な一般化性能が得られ、訓練サイズが5%から80%に増加するに従い、テスト損失は0.06939（5%）から0.01219（80%）に減少した。
• アブレーションスタディの結果、事前学習段階で任意の1つのPSEタスクを省略しても影響は最小限にとどまり、PSEタイプ間で学習が補完的かつ頑健であることが示された。

Figure 2 : Virtual node, convolution type, and layers ablation using 5% MolPCBA for training GPSE .