[論文レビュー] Generalized Laplacian Positional Encoding for Graph Representation Learning

Sohir Maskey, Ali Parviz+4 more|arXiv (Cornell University)|Oct 28, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、埋め込み最適化問題における$L^2$-ノルムを$p$-ノルムに置き換えることで、従来のラプラシアン位置符号化を一般化した一般化されたラプラシアン位置符号化（p-PE）を導入する。この手法は局所的最小化を用いてノード埋め込みを計算し、特に$p \to 1$のとき、分子内のリング構造などの多様なグラフ構造を捉える。しかし、実験ではノード分類およびグラフ回帰タスクにおいて、一般的に標準の$2$-PEに比べて性能が劣ることが示された。

ABSTRACT

Graph neural networks (GNNs) are the primary tool for processing graph-structured data. Unfortunately, the most commonly used GNNs, called Message Passing Neural Networks (MPNNs) suffer from several fundamental limitations. To overcome these limitations, recent works have adapted the idea of positional encodings to graph data. This paper draws inspiration from the recent success of Laplacian-based positional encoding and defines a novel family of positional encoding schemes for graphs. We accomplish this by generalizing the optimization problem that defines the Laplace embedding to more general dissimilarity functions rather than the 2-norm used in the original formulation. This family of positional encodings is then instantiated by considering p-norms. We discuss a method for calculating these positional encoding schemes, implement it in PyTorch and demonstrate how the resulting positional encoding captures different properties of the graph. Furthermore, we demonstrate that this novel family of positional encodings can improve the expressive power of MPNNs. Lastly, we present preliminary experimental results.

研究の動機と目的

• メッセージパッシングニューラルネットワーク（MPNNs）の限界、例えば表現力の上限やリンク予測における低い性能を解消すること。
• ラプラシアンベースの位置符号化（LPE）における$L^2$-ノルムの任意性を克服し、一般の類似度関数に一般化された最適化問題を提案すること。
• クラスタリングやリング構造などの多様なグラフ特性をよりよく捉えるために、$p$-ノルムを用いた新しい位置符号化の族を開発すること。
• p-PEがMPNNの表現力を向上させられることを示し、特に$p$-固有ベクトルを用いる場合に有効であることを理論的および実験的に探ること。
• $p$-PEを効率的に最適化する際の課題を特定し、スケーラブルで効果的な$p$-ノルムベースの符号化の今後の方向性を提案すること。

提案手法

• 標準のラプラシアン埋め込み問題を一般化し、目的関数に一般類似度関数$d(\cdot, \cdot)$を$L^2$-ノルムの代わりに用いる：$\min_X \sum_{i,j} a_{ij} d(X_{i,:}, X_{j,:})$ かつ制約条件$C(X) = 0$。
• 一般化されたフレームワークを$p$-ノルムを用いて具体化し、$p$-PEを、正規直交制約下での$p$-ノルムに基づく対比較類似度の最小化問題として定義する非凸最適化問題の解として定義する。
• 完全な固有値分解を避けるために、局所的最小化スキームを実装し、小規模な$k$に対してスケーラビリティを確保する。
• p-PEに内在する符号の不定性を処理するために、標準LPEと同様に符号反転処理とSignNet（SN）を適用する。
• 得られた$p$-PEを、GCN、GIN、およびトランスフォーマーに基づくGNNモデルの初期ノード特徴量として用い、下流タスクに適用する。
• 理論的分析により、MPNNが2つ以上の$p$-固有ベクトルを組み込むと、任意の$p \in (1, \infty)$に対して1-WLテストよりも厳密に表現力が向上することが示された。

実験結果

リサーチクエスチョン

• RQ1 ラプラシアン位置符号化における$L^2$-ノルムを$p$-ノルムに置き換えることで、より表現力があり構造的に意味のあるノード埋め込みが得られるか？
• RQ2 標準の$2$-PEと比較して、$p$-PE埋め込みはリング、クラスタリング、最短経路などのグラフ特性をどの程度効果的に捉えられるか？
• RQ3 ノード分類およびグラフ回帰ベンチマークにおいて、$p$-PEと$2$-PEの実験的性能はどのように比較されるか？
• RQ4 特に$p$-固有ベクトルを用いる場合に、$p$-PEは1-WLテストを超えるMPNNの表現力を向上させられるか？
• RQ5 より大きな$k$やより大きなグラフにスケーリングする際の$p$-PEの主な計算的・最適化上の課題は何か？

主な発見

• 提案された$p$-PEフレームワークは、埋め込み最適化における$L^2$-ノルムを$p$-ノルムに置き換えることで、ラプラシアン位置符号化を一般化し、多様な構造的インダクティブバイアスを可能にする。
• 特に$p \to 1$のとき、$p$-PEはソフトクラスタリング関数としての振る舞いを示し、ZINC分子における可視化により、分子グラフ内のリング構造などの意味のあるグラフ構造を効果的に特定することが確認された。
• 理論的利点があるものの、CoraおよびCiteseerにおけるノード分類では、$p$-PEは標準の$2$-PEに劣り、GCN+1.2-PEではそれぞれ83.4%および75.2%の正確度を示したが、GCN+No PEでは83.6%および74.7%を記録した。
• ZINC-12Kにおけるグラフ回帰では、$2$-PE-Norm.がGINEを用いて最低のテストMAE $0.168 \pm 0.02$を達成した。一方、$1.2$-PEと$1.6$-PEはそれぞれ$0.180 \pm 0.01$および$0.171 \pm 0.00$を記録し、$2$-PEに比べて一貫してやや劣る性能を示した。
• ZINCにおけるトランスフォーマーでは、$2$-PE-Norm.が最も高い性能を示し、MAE $0.121 \pm 0.00$を達成した。一方、$1.2$-PEと$1.6$-PEはそれぞれ$0.133 \pm 0.01$および$0.134 \pm 0.01$を記録し、$p$-PEがこの設定では$2$-PEを上回ることはなかった。
• 理論的結果により、任意の$p \in (1, \infty)$に対して、少なくとも2つの$p$-固有ベクトルを組み込んだMPNNは1-WLテストよりも厳密に表現力が向上することが確認された。これは理論的には表現力の向上が可能であるが、現在の実験では実用的利点は限定的であることが示された。