[論文レビュー] Revisiting Graph Neural Networks for Link Prediction

Muhan Zhang, Li Pan+3 more|arXiv (Cornell University)|May 4, 2021

Advanced Graph Neural Networks参考文献 26被引用数 46

ひとこと要約

この論文はリンク予測のためのグラフニューラルネットワークを再考し、SEALフレームワークを用いて適切にラベル付けされた部分グラフから学習することで、GAEのようにノード埋め込みを単純に集約するのとは対照的に、はるかに表現力が高く汎化性能に優れたリンク表現が得られることを示している。大規模なOGBデータセットにおいて、SEALはGAE手法に対して最大195%の性能向上を達成し、4つのベンチマークのうち3つで新たなSOTA結果を樹立した。

ABSTRACT

Graph neural networks (GNNs) have achieved great success in recent years. Three most common applications include node classification, link prediction, and graph classification. While there is rich literature on node classification and graph classification, GNNs for link prediction is relatively less studied and less understood. Two representative classes of methods exist: GAE and SEAL. GAE (Graph Autoencoder) first uses a GNN to learn node embeddings for all nodes, and then aggregates the embeddings of the source and target nodes as their link representation. SEAL extracts a subgraph around the source and target nodes, labels the nodes in the subgraph, and then uses a GNN to learn a link representation from the labeled subgraph. In this paper, we thoroughly discuss the differences between these two classes of methods, and conclude that simply aggregating extit{node} embeddings does not lead to effective extit{link} representations, while learning from extit{properly labeled subgraphs} around links provides highly expressive and generalizable link representations. Experiments on the recent large-scale OGB link prediction datasets show that SEAL has up to 195\% performance gains over GAE methods, achieving new state-of-the-art results on 3 out of 4 datasets.

研究の動機と目的

• リンク予測のためのGNNがノード分類やグラフ分類タスクと比較してなぜあまり研究されていないかを調査すること。
• GAEとSEALの2つの主要なGNNベースのリンク予測手法の根本的な違いを分析すること。
• ノード埋め込みの集約のみが有効なリンク表現を生み出すのか、それとも部分グラフレベルでの学習がより強力なのかを評価すること。
• GAEとSEALの間で、明確な実証的および概念的比較を確立し、部分グラフ構造とラベリングの重要性を強調すること。

提案手法

• SEALは、各ターゲットリンクを中心として、元のノードとターゲットノードの周囲kホップの近傍を抽出することで部分グラフを構築する。
• 構造的情報を保持し、GNNによる学習を可能にするために、各部分グラフのソースノードとターゲットノードに固有のラベルを再割り当てする。
• GNNがラベル付けされた部分グラフを処理し、局所的なトポロジーとノードの識別子を両方とも捉えたリンク表現を生成する。
• 得られたリンク表現を用いて二値分類を行い、リンクの存在を予測する。
• ノードレベルの埋め込みに依存するのではなく、部分グラフ構造からのインダクティブバイアスを活用することで、一般化性能が向上する。
• GAEとは異なり、SEALは構造的でラベル付けされた部分グラフから学習することで、より表現力のあるリンク表現を生成する。

実験結果

リサーチクエスチョン

• RQ1 ノード分類やグラフ分類タスクで成功を収めているにもかかわらず、なぜリンク予測のためのGNNはあまり研究されていないのか。
• RQ2 GAEとSEALの両者がリンクレベルの情報を捉える能力にどのような違いがあるのか。
• RQ3 ノード埋め込みの集約だけでは有効なリンク表現が得られるのか、それとも部分グラフレベルでの学習がより強力なのか。
• RQ4 部分グラフのラベリングと構造的インダクティブバイアスは、大規模データセットにおけるリンク予測性能をどの程度向上させるのか。

主な発見

• SEALはOGBリンク予測ベンチマークデータセットにおいて、GAE手法に対して最大195%の性能向上を達成した。
• SEALはOGBリンク予測データセットの4つ中3つで、新たなSOTA結果を樹立し、優れた一般化性能を示した。
• GAEのようにノード埋め込みを単純に集約する手法は、適切にラベル付けされた部分グラフから学習するのと比較して、表現力のあるリンク表現を生み出せない。
• kホップの部分グラフにノードラベリングを適用することで、GNNはリンク予測に不可欠なより洗練された構造的パターンを捉えることができる。
• SEALの部分グラフベースのアプローチは、局所的なトポロジーからのインダクティブバイアスのおかげで、未観測リンクへの一般化がより優れている。
• 結果から、リンク予測において部分グラフレベルでの学習が、ノード埋め込みの集約よりも根本的に効果的であることが確認された。