[論文レビュー] Graph Neural Networks with Learnable Structural and Positional Representations

Vijay Prakash Dwivedi, Anh Tuan Luu+3 more|arXiv (Cornell University)|Oct 15, 2021

Advanced Graph Neural Networks参考文献 61被引用数 25

ひとこと要約

本論文はLSPEを紹介します。GNNの学習可能な構造エンコードと位置エンコードを切り離すフレームワークであるLSPEは表現力を向上させ、分子ベンチマークで顕著な改善を達成します（例：GNNクラスの両方にPEを学習させると1.79%から64.14%へ改善）。

ABSTRACT

Graph neural networks (GNNs) have become the standard learning architectures for graphs. GNNs have been applied to numerous domains ranging from quantum chemistry, recommender systems to knowledge graphs and natural language processing. A major issue with arbitrary graphs is the absence of canonical positional information of nodes, which decreases the representation power of GNNs to distinguish e.g. isomorphic nodes and other graph symmetries. An approach to tackle this issue is to introduce Positional Encoding (PE) of nodes, and inject it into the input layer, like in Transformers. Possible graph PE are Laplacian eigenvectors. In this work, we propose to decouple structural and positional representations to make easy for the network to learn these two essential properties. We introduce a novel generic architecture which we call LSPE (Learnable Structural and Positional Encodings). We investigate several sparse and fully-connected (Transformer-like) GNNs, and observe a performance increase for molecular datasets, from 1.79% up to 64.14% when considering learnable PE for both GNN classes.

研究の動機と目的

• 任意のグラフにおける標準化されたノード位置づけの欠如がGNNの表現力を制約している問題に対処する。
• 構造表現と位置表現の両方を学習するための汎用的なLSPEアーキテクチャを提案する。
• LSPEが分子ベンチマークおよび他のグラフにおいて、スパースなGNNおよびTransformer風のGNNの性能を改善することを示す。

提案手法

• 位置エンコードを構造特徴からデカップリングし、両方を共同で学習する MP-GNNs-LSPE を導入する。
• 初期の位置エンコードとして Laplacian PE (LapPE) と Random Walk PE (RWPE) の2つを用いる。
• 層更新を以下のように定義する。h^{l+1} は結合された [h^{l}, p^{l}] に依存し、p^{l+1} は学習可能な関数 f_p によって更新される（式 17）。
• PEをLapPEまたはRWPEのいずれかで初期化し、層0でノード特徴に埋め込む（式 20）。
• 任意で、p^{L}をラプラシアン固有ベクトルに揃えるよう促す位置損失（Loss_LapEig）を追加する。
• スパースな MP-GNNs（GatedGCN、PNA）および Transformer GNNs（SAN、GraphiT）でLSPEを示す。

実験結果

リサーチクエスチョン

• RQ1 構造表現と位置表現を分離し、それらを端から端まで学習することで、任意のグラフにおけるGNNの表現力を向上させることができるか？
• RQ2 学習可能なPE（RWPE対LapPE）は、スパースおよびTransformerベースのGNNにおいて性能と学習ダイナミクスにどのような影響を与えるか？
• RQ3 学習されたPEにLapEig風の損失を組み込むと、グラフトポロジーとの整合性とタスク性能が向上するか？
• RQ4 分子ベンチマークにおいて符号の曖昧さを低減し、性能を改善する点でRWPEはLapPEより有効か？

主な発見

• LSPEは調査対象のモデルとデータセット全体で性能を大幅に向上させ、ZINCではGatedGCN-RWPEで0.202から0.090 MAEへ改善し、ZINCのベースラインに対して最大で相対64.14%のゲインを達成。
• MOLTOX21ではRWPEを用いるLSPEが0.7754のテストROC-AUCを達成し、最良ベースラインと同等、MOLPCBAではPNA-LSPEで0.2840のテストAPに到達。
• LSPEはスパースGNNとTransformer GNNの両方を一貫して改善し、分子グラフではスパースMP-GNNがLSPE搭載時にしばしばTransformer GNNを上回る。
• ZINCでの最良LSPE結果はSANやGraphormerを含む複数の最先端ベースラインを上回り、比較により約26–35%のMAE改善。
• 各層で位置表現を学習する（固定入力PEと異なる）と最良の性能を得られ、過剰適合を減らす。特に最終的な learned PEs との結合を使用する場合に効果的。
• アブレーションによりRWPEはLapPEに固有の符号曖昧性を低減し、非同型な領域を区別するための位置信号を強化することを示した。