[論文レビュー] Structure Enhanced Graph Neural Networks for Link Prediction

Baole Ai, Qin Zhou+2 more|arXiv (Cornell University)|Jan 14, 2022

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本稿では、リンク予測のための構造強化型グラフニューラルネットワーク（SEG）を提案する。この手法は、ターゲットノードの周囲のトポロジカル構造を符号化するためのパスラベル（PL）を導入し、ノード特徴量とこれらの構造的埋め込みを統合学習フレームワークによって統合する。SEGは、OGBのリンク予測ベンチマーク3つすべてで最先端の性能を達成し、SEAL や GCN といった先行手法を上回る。

ABSTRACT

Graph Neural Networks (GNNs) have shown promising results in various tasks, among which link prediction is an important one. GNN models usually follow a node-centric message passing procedure that aggregates the neighborhood information to the central node recursively. Following this paradigm, features of nodes are passed through edges without caring about where the nodes are located and which role they played. However, the neglected topological information is shown to be valuable for link prediction tasks. In this paper, we propose Structure Enhanced Graph neural network (SEG) for link prediction. SEG introduces the path labeling method to capture surrounding topological information of target nodes and then incorporates the structure into an ordinary GNN model. By jointly training the structure encoder and deep GNN model, SEG fuses topological structures and node features to take full advantage of graph information. Experiments on the OGB link prediction datasets demonstrate that SEG achieves state-of-the-art results among all three public datasets.

研究の動機と目的

• メッセージスティッピング中にトポロジカル構造を無視する標準的なGNNの制限を解決すること。
• 局所的なグラフトポロジにおけるノードの役割と位置を捉える有効な構造的特徴を符号化する手法を設計すること。
• ノード特徴量と構造的埋め込みを同時に学習する統合フレームワークを構築し、リンク予測の性能を向上させること。
• 実世界のグラフデータセットにおいて、既存のGNNおよびトポロジベースのベースラインと比較して優れた性能を示すことを実証すること。

提案手法

• ターゲットノードから周囲の部分グラフ内の他のノードまでの最短経路距離に基づいてラベルを割り当てる、新しいノード位置ラベル化手法であるパスラベル（PL）を提案する。
• PLに基づく構造的特徴を低次元の構造的埋め込みに変換する構造エンコーダーを設計する。
• ノード特徴量と構造的埋め込みの両方を共通の潜在空間にマップする特徴融合モジュールを導入する。
• 融合された埋め込みをメッセージスティッピングの初期ノード表現として使用するGNNモデルを構築する。
• 構造エンコーダーとGNNをエンドツーエンドで最適化することで、表現学習の性能を向上させる。
• 最終的なGNN出力とターゲットノード間の構造的埋め込み類似度を組み合わせ、最終的なリンク予測を実行する。

実験結果

リサーチクエスチョン

• RQ1 ターゲットノード周辺のトポロジカル構造を効果的に符号化することで、ノード特徴量のみに依存する手法を超えるリンク予測性能を向上させられるか？
• RQ2 既存の構造的符号化手法（例：DRNL）と比較して、提案手法のパスラベル（PL）は、意味のある構造的パターンをどのように効果的に捉えているか？
• RQ3 構造エンコーダーとGNNを統合的に学習させることで、分離学習や単純な連結処理よりも性能が向上するか？
• RQ4 局所的トポロジが識別性が低いとされる高密度グラフにおいて、モデルの性能はいかがなものか？
• RQ5 異なるグラフタイプ（引用、共同作業、薬物相互作用ネットワークなど）にわたって、このフレームワークは一般化可能か？

主な発見

• SEGは、OGBのリンク予測データセット3つすべてで最先端の性能を達成し、ogbl-collabではHits@50が0.5535 ± 0.0039を記録し、SEAL（0.5371 ± 0.0047）を上回った。
• アブレーションスタディの結果、構造エンコーダーとGNNを統合的に学習させたSEGは、GNN単体の学習（SEG-GNN）よりも優れた結果を示し、エンドツーエンド最適化の有効性を裏付けた。
• SEGフレームワーク内でDRNLをPLに置き換えたSEG-DRNLは、元のSEALを上回る性能を示し、PLが構造的符号化においてより効果的であることを示した。
• ogbl-collabにおいてSEG-DRNLは元のSEALを上回り、SEGフレームワークの有効性が異なる構造的符号化手法に対しても確認された。
• 高密度なogbl-ddiデータセットでは、SEGはSEAL や DE-GNN を上回ったが、GCN や GraphSAGE といった標準的なGNNに比べて劣っていた。これは、高密度グラフでは局所的構造が情報量が少なくなる可能性を示唆している。
• 解析の結果、PLは4つのラベル値しか使用しないが、DRNLは17のラベル値を使用している。これは、少ない数の制約付きラベルがノイズを低減し、一般化性能を向上させることを示している。