[論文レビュー] Graph Neural Networks with Learnable Structural and Positional Representations

Vijay Prakash Dwivedi, Anh Tuan Luu+3 more|arXiv (Cornell University)|Oct 15, 2021

Machine Learning in Materials Science被引用数 62

ひとこと要約

本研究は MP-GNNs-LSPE を提案し、学習可能な構造エンコーディングと位置エンコーディングを分離して表現力を向上させる。RWPE または LapPE 初期化と特殊な損失を使用し、分子および他のグラフベンチマークで顕著な向上を達成。

ABSTRACT

Graph neural networks (GNNs) have become the standard learning architectures for graphs. GNNs have been applied to numerous domains ranging from quantum chemistry, recommender systems to knowledge graphs and natural language processing. A major issue with arbitrary graphs is the absence of canonical positional information of nodes, which decreases the representation power of GNNs to distinguish e.g. isomorphic nodes and other graph symmetries. An approach to tackle this issue is to introduce Positional Encoding (PE) of nodes, and inject it into the input layer, like in Transformers. Possible graph PE are Laplacian eigenvectors. In this work, we propose to decouple structural and positional representations to make easy for the network to learn these two essential properties. We introduce a novel generic architecture which we call LSPE (Learnable Structural and Positional Encodings). We investigate several sparse and fully-connected (Transformer-like) GNNs, and observe a performance increase for molecular datasets, from 1.79% up to 64.14% when considering learnable PE for both GNN classes.

研究の動機と目的

• 一般的な GNN の標準的な位置決定の制限を、構造表現と分離された学習可能な位置エンコーディングを導入することで解消する。
• LSPE を、学習可能な位置情報で MP-GNNs と Transformer GNNs を拡張する汎用フレームワークとして提案。
• LSPE を分子ベンチマーク（ZINC、MOLTOX21、MOLPCBA）および非分子グラフで評価し、幅広い改善を実証。
• 学習可能な PE（特に RWPE） は、スパースおよび完全結合の GNN バリアント全体で性能を向上させつつ、スケーラブルな計算量を維持することを示す。

提案手法

• 構造特徴 h と学習可能な位置特徴 p を分離する MP-GNNs-LSPE アーキテクチャを提案し、層ごとに更新する。
• 初期の位置エンコーディングとして Laplacian PE (LapPE) と Random Walk PE (RWPE) の2つを導入する。RWPE は計算量を低く保つため RWii のエントリのみを使用する。
• LSPE 層の更新を以下で定義する: h^{l+1} = f_h([h^l; p^l], { [h_j^l; p_j^l] }_{j in N_i}, e_{ij}^l), e^{l+1}_{ij} = f_e(h^l_i, h^l_j, e^l_{ij}), p^{l+1}_i = f_p(p^l_i, { p^l_j }_{j in N_i}, e^l_{ij}).
• 初期ノード/エッジ特徴埋め込み: h_i^{l=0} = LL_h(h_i^{in}) and e_{ij}^{l=0} = LL_e(e_{ij}^{in}).
• 位置エンコーディング損失: 任意の Loss_LapEig(p^{l=L}) を用いてラプラシアン固有ベクトルに類似した座標系を促進し、最終的な総損失は TaskLoss([h^{L}; p^{L}]) + alpha Loss_LapEig(p^{L}).
• 実装: LSPE を疎な MP-GNNs（GatedGCN、PNA、SAN、GraphiT）および Transformer GNN に適用し、GatedGCN-LSPE、PNA-LSPE、SAN-LSPE、GraphiT-LSPE を形成する。

実験結果

リサーチクエスチョン

• RQ1 LSPE による構造エンコーディングと位置エンコーディングの分離は、多様なグラフタスクにおける MP-GNNs および Transformer GNNs の表現力を向上させるか。
• RQ2 LSPE 内の初期 PE としての RWPE と LapPE は、異なるアーキテクチャやデータセットでどのように比較されるか。
• RQ3 毎層 PE を学習することと、入力または最終層のみ事前計算された PE を挿入することの影響は何か。
• RQ4 分子ベンチマーク（ZINC、MOLTOX21、MOLPCBA）および非分子グラフにおける LSPE の実用的な性能向上はどの程度か。
• RQ5 LSPE は標準の MP-GNNs および Transformer GNNs と比較してスケーラビリティと訓練効率を維持できるか。

主な発見

• 位置エンコーディングなしではデータセット全体で GNN の性能が低下する。PE を組み込むと結果が有意に改善される。
• LSPE の初期 PE として RWPE を用いると大幅な改善をもたらし、特に ZINC で相対的な 64.14% のゲインを実現するモデルもある。
• GatedGCN-LSPE は ZINC テスト MAE が 0.090 で最上位となり、複数のベースラインを上回り、ドメイン非依存の GNN の中で最先端の性能を達成。
• LSPE は MOLTOX21 および MOLPCBA でも同等以上の性能を示し、時には SOTA を上回る。
• 疎な GNNs に LSPE を追加した方が、分子グラフ上で Transformer GNNs よりも優れた性能を示す場合があり、訓練時間も短縮される。
• 毎層で位置表現を学習すると最良の性能を発揮し、RWPE は LapPE に伴う符号の曖昧性を緩和するのに役立つ。