[論文レビュー] GRPE: Relative Positional Encoding for Graph Transformer

Wonpyo Park, Woonggi Chang+3 more|arXiv (Cornell University)|Jan 30, 2022

Advanced Graph Neural Networks被引用数 15

ひとこと要約

本稿では、グラフ線形化を伴わずにノードのトポロジーとノード・エッジの相互作用を統合的にモデル化する、グラフ変換器向けの新しい相対的位置符号化手法であるGraph Relative Positional Encoding (GRPE)を提案する。ノード特徴量と統合されたトポロジーおよびエッジ符号化を、自己注意マップおよび値表現の両方で学習することで、GRPEはグラフ分類、回帰、ノード分類のベンチマークで最先端の性能を達成し、PCQM4Mv2ではSOTA結果、ZINCおよびMolHIVでも競争力のある結果を示した。

ABSTRACT

We propose a novel positional encoding for learning graph on Transformer architecture. Existing approaches either linearize a graph to encode absolute position in the sequence of nodes, or encode relative position with another node using bias terms. The former loses preciseness of relative position from linearization, while the latter loses a tight integration of node-edge and node-topology interaction. To overcome the weakness of the previous approaches, our method encodes a graph without linearization and considers both node-topology and node-edge interaction. We name our method Graph Relative Positional Encoding dedicated to graph representation learning. Experiments conducted on various graph datasets show that the proposed method outperforms previous approaches significantly. Our code is publicly available at https://github.com/lenscloth/GRPE.

研究の動機と目的

• 既存のグラフ位置符号化手法が、グラフ線形化（トポロジーの正確性を損なう）またはバイアス項の使用（特徴量符号化との統合が不完全）という制限を抱えることに対処すること。
• グラフ変換器において、相対的なノードトポロジーとノード・エッジ関係を両方モデル化することで、構造的情報を保持する位置符号化手法を開発すること。
• グラフトポロジーとエッジタイプを自己注意メカニズム内に直接統合し、表現学習を強化すること。

提案手法

• 相対的トポロジー距離（最大$L$ホップの最短経路まで）を捉えるために、学習可能なトポロジー符号化$\mathcal{P}$と、異なるエッジタイプをモデル化するためのエッジ符号化$\mathcal{E}$の2つの学習可能な位置符号化ベクトルを導入する。
• トポロジーおよびエッジ符号化を、自己注意の注意マップと値計算の両方へ埋め込み、ノード特徴量と構造的符号化との間の相互作用を自己注意の過程で可能にする。
• トポロジー符号化の受容 field を制御する最大最短経路距離$L$を用い、実験では$L=5$を用いる。
• スケーリングドット積注意機構内のクエリ、キー、値ベクトルと相互作用する学習可能な投影を介して、位置符号化を適用する。
• 自己注意メカニズム内で仮想ノードをグローバルコンテキストとして用いることで、より深い層がグラフ全体に注目できるようにする。
• 共有およびレイヤー固有の符号化をサポートし、アブレーションでは共有による性能向上が限定的であることが示され、独立した符号化がより効果的であると示唆する。

実験結果

リサーチクエスチョン

• RQ1 ノードトポロジーとノード・エッジ相互作用を統合的にモデル化する相対的位置符号化手法が、絶対的位置符号化やバイアスに基づく相対符号化よりも、グラフ変換器で優れた性能を発揮できるか？
• RQ2 トポロジーおよびエッジ符号化を注意マップと値表現の両方に統合することで、グラフ表現学習タスクのモデル性能にどのような影響を与えるか？
• RQ3 構造的情報を捕捉するための最大最短経路距離$L$の最適値は何か？過学習や冗長性を避けるために、$L$をどのように設定すべきか？
• RQ4 すべての変換器層にトポロジーおよびエッジ符号化を共有すると性能が低下するか？もしそうなら、その程度はどの程度か？
• RQ5 GRPEの自己注意メカニズムはレイヤーを経てどのように変化するか？また、より深い層でグローバルなグラフ認識が可能になるか？

主な発見

• PCQM4Mv2データセットでは、大規模なGRPEモデルが最良の検証MAEスコアを達成し、最大規模の分子性質予測ベンチマークで最先端の性能を示した。
• ZINCデータセットでは、GRPE-SmallがテストMAE 0.093を達成し、位置符号化なしのベースラインTransformer（0.668）およびアブレーションバージョンを著しく上回った。
• アブレーションスタディの結果、トポロジーとエッジ符号化を併用することで、MAEはトポロジーのみ（0.267）から0.147（値符号化なし）に低下し、さらにグラフ符号化された値を追加することで0.093にまで改善された。
• 最大最短経路距離$L$を増加させることでAUCスコアは$L=4$まで向上したが、さらに$L=5$に増加させても追加の利益は得られず、$L=4$が一般化性能の観点で最適であると示唆された。
• 符号化を全レイヤーに共有することでMAEはわずかに改善（0.101 → 0.094）したが、パrameter数が増加したため、独立した符号化がより効率的であると示唆された。
• 注意マップの可視化により、より深い層では仮想ノードに注目する割合が増加しており、グローバルコンテキストの段階的集積が行われていることが確認された。初期層では周辺ノードに注目する傾向が見られた。