[論文レビュー] Self-supervised Learning on Graphs: Contrastive, Generative,or Predictive

Lirong Wu, Haitao Lin+3 more|arXiv (Cornell University)|May 16, 2021

Advanced Graph Neural Networks被引用数 13

ひとこと要約

本調査は、グラフデータにおける自己教師あり学習（SSL）手法を包括的にレビューし、対比的、生成的、予測的アプローチに分類している。統一的な数学的枠組みを提供し、標準データセットを用いたベンチマークを実施し、オープンソース実装を提供することで、グラフSSL研究分野における手法の明確化と再現可能性が著しく向上した。

ABSTRACT

Deep learning on graphs has recently achieved remarkable success on a variety of tasks, while such success relies heavily on the massive and carefully labeled data. However, precise annotations are generally very expensive and time-consuming. To address this problem, self-supervised learning (SSL) is emerging as a new paradigm for extracting informative knowledge through well-designed pretext tasks without relying on manual labels. In this survey, we extend the concept of SSL, which first emerged in the fields of computer vision and natural language processing, to present a timely and comprehensive review of existing SSL techniques for graph data. Specifically, we divide existing graph SSL methods into three categories: contrastive, generative, and predictive. More importantly, unlike other surveys that only provide a high-level description of published research, we present an additional mathematical summary of existing works in a unified framework. Furthermore, to facilitate methodological development and empirical comparisons, we also summarize the commonly used datasets, evaluation metrics, downstream tasks, open-source implementations, and experimental study of various algorithms. Finally, we discuss the technical challenges and potential future directions for improving graph self-supervised learning. Latest advances in graph SSL are summarized in a GitHub repository https://github.com/LirongWu/awesome-graph-self-supervised-learning.

研究の動機と目的

• グラフ表現学習におけるラベル付きデータの高コストと不足問題に対処するため、自己教師あり学習（SSL）技術の発展を図ること。
• コンピュータビジョンや自然言語処理で成功を収めたSSLを、構造的かつ特徴豊富なデータが得られるグラフ分野へ拡張すること。
• 多様なグラフSSL手法の根幹を成す原則を明確にする統一的な数学的枠組みを提供すること。
• 標準化されたデータセット、評価指標、オープンソース実装を用いて、既存手法を収集・比較し、再現可能性を確保すること。
• 一般化性能を向上させるために、事前学習タスクと下流タスクの目的を一致させるにあたり、主な課題と今後の研究方向性を特定すること。

提案手法

• グラフSSL手法を3つのパラダイムに分類する：対比的（データ拡張を用いた不変表現の学習）、生成的（グラフ構造や特徴の再構築）、予測的（予測タスクのための自己生成ラベル）。
• 対比的、生成的、予測的グラフSSL手法の核心的学習目的を表現する統一的な数学的定式化を導入する。
• 対比学習のための正例ペアを生成するために、ノードマスキング、エッジドロップ、特徴の摂動といったデータ拡張戦略を採用する。
• 生成的SSLでは、元のグラフ構造やノード特徴を損傷させたビューから再構築するという再構築ベースの事前学習タスクを適用する。
• ヒューリスティクスや専門知識（例：中心性スコア、メタパスパターン）を用いて、下流タスクへの転移のための疑似ラベルを生成する予測的タスクを設計する。
• Cora、PubMed、IMDB-B、MUTAGなどの共通データセットを用い、8つのノード分類および7つのグラフ分類ベンチマークで評価を標準化する。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり学習は、どのように異なるグラフ表現学習パラダイムに体系的かつ統一的に分類できるか？
• RQ2 対比的、生成的、予測的グラフSSL手法の背後にある主な数学的原則は何か。それらは共通の枠組みでどのように表現できるか？
• RQ3 標準ベンチマークにおいて、異なるグラフSSL手法はノード分類およびグラフ分類の精度においてどのように性能を発揮するか？
• RQ4 一般化性能を向上させるために、最も効果的なデータ拡張および事前学習タスク設計は何か？
• RQ5 事前学習タスクの目的と下流タスクの目的を一致させるにあたり、残された主な技術的課題は何か？

主な発見

• 対比的手法のGRACEやBGRLはノード分類で最先端の性能を示し、GRACEはCoauthor-Physicsで95.26%の精度に達した。
• 生成的手法のGraph-BERTやGCAも強力な結果を示し、GCAはCoauthor-Physicsで95.75%、Amazon-Computersで93.10%の精度を達成した。
• 予測的手法のSelfGNNやKS2Lも競争力のある性能を示し、SelfGNNはCoauthor-Physicsで95.50%、KS2LはCoauthor-Physicsで95.56%の精度を記録した。
• MVGRLはCoauthor-Physicsで95.33%、Amazon-Computersで93.21%の精度を達成し、複数のデータセットで優れた性能を示した。
• SUGARはMUTAGで96.74%の精度を記録し、他の手法を上回り、高度な生成的および対比的設計の可能性を浮き彫りにした。
• 本調査では、事前学習タスクと下流タスクの目的の間には依然として一貫したギャップが存在し、一般化性能に制限をもたらしていることが判明した。今後の設計においては、より良い一致が求められる。