[論文レビュー] Self-Supervised Learning of Graph Neural Networks: A Unified Review

Yaochen Xie, Xu Zhao+3 more|arXiv (Cornell University)|Feb 22, 2021

Advanced Graph Neural Networks被引用数 37

ひとこと要約

包括的な調査が対照学習と予測的自己教師付き学習（SSL）手法をグラフニューラルネットワーク（GNNs）に統合し、比較のための標準化されたテストベッドとフレームワークを提供する。

ABSTRACT

Deep models trained in supervised mode have achieved remarkable success on a variety of tasks. When labeled samples are limited, self-supervised learning (SSL) is emerging as a new paradigm for making use of large amounts of unlabeled samples. SSL has achieved promising performance on natural language and image learning tasks. Recently, there is a trend to extend such success to graph data using graph neural networks (GNNs). In this survey, we provide a unified review of different ways of training GNNs using SSL. Specifically, we categorize SSL methods into contrastive and predictive models. In either category, we provide a unified framework for methods as well as how these methods differ in each component under the framework. Our unified treatment of SSL methods for GNNs sheds light on the similarities and differences of various methods, setting the stage for developing new methods and algorithms. We also summarize different SSL settings and the corresponding datasets used in each setting. To facilitate methodological development and empirical comparison, we develop a standardized testbed for SSL in GNNs, including implementations of common baseline methods, datasets, and evaluation metrics.

研究の動機と目的

• グラフに対するSSL手法を対照学習と予測的アプローチに分類・整理する調査。
• グラフSSL手法の構成要素（ビュー、エンコーダ、目的関数）を比較する統一的なフレームワークを提供する。
• グラフタスクで用いられるSSLの設定とデータセットを要約する。
• 経験的比較のためのベースライン、データセット、指標を備えた標準化されたテストベッドを提供する。

提案手法

• 対照学習と予測学習という二つの主要な分岐を持つグラフSSLの統一フレームワークを定義する。
• 対照学習法がどのように複数のグラフビューを生成し、MI推定量を目的関数として用いるかを説明する。
• グラフSSLで用いられる共通のMI推定量：DV、JS、InfoNCEを、射影ヘッドを含めて提示する。
• グラフ再構成、性質予測、自己訓練、不変性正則化などを含む予測的SSL手法を詳述する。
• 異種・動的グラフへの拡張を議論し、より深い分類法を含む付録を提供する。
• 再現性のある研究のために、ベースライン、データセット、評価指標を実装する標準化されたテストベッドを開発・公開する。

実験結果

リサーチクエスチョン

• RQ1 グラフに対する対照SSLをMI最大化の下でどのように統一できるか？
• RQ2 グラフ対照学習におけるビュー生成とエンコーダ設計の役割は何か？
• RQ3 予測型SSL手法はどのように自己教師付きラベルを生成し、どの性質を捉えるのか？
• RQ4 グラフ上のSSLで一般に用いられるデータセットと設定は何か、標準化されたテストベッドは比較をどう助けるか？
• RQ5 SSL手法は異種グラフや動的グラフへどのように拡張されるか？

主な発見

• 本調査は、MIに基づくグラフ対照学習の統一的な見解を提示する。
• ラベル生成方法（再構成、性質予測、自己訓練、不変性）によって予測型SSL手法を分類する。
• DGI、MVGRL、GraphCL、GRACE、GCC、GMI、BGRLなどの主要手法で、ビュー生成戦略、エンコーダ、目的関数を比較する。
• MI推定量（DV、JS、InfoNCE）と性能向上のための射影ヘッドの役割について論じる。
• グラフタスクで用いられるSSL設定とデータセットの要約を提供し、ベンチマーク用の標準化されたオープンソースのテストベッドを導入する。