[論文レビュー] Self-supervised Graph Neural Networks without explicit negative sampling

Zekarias T. Kefato, Šarūnas Girdzijauskas|arXiv (Cornell University)|Mar 27, 2021

Advanced Graph Neural Networks参考文献 31被引用数 10

ひとこと要約

SelfGNN は、バッチ正則化を用いて対照的項を暗黙的に導入することで、明示的な負例サンプリングを排除する自己教師ありグラフニューラルネットワークを提案する。4つの効率的な特徴量増幅技術を導入し、トポロジー的増幅と同等の性能を達成しながら、O(N³)の計算コストを回避する。7つの実世界のデータセットにおいて、自己教師ありGNNの最先端性能を達成し、教師ありGNNと同等の性能を示す。

ABSTRACT

Real world data is mostly unlabeled or only few instances are labeled. Manually labeling data is a very expensive and daunting task. This calls for unsupervised learning techniques that are powerful enough to achieve comparable results as semi-supervised/supervised techniques. Contrastive self-supervised learning has emerged as a powerful direction, in some cases outperforming supervised techniques. In this study, we propose, SelfGNN, a novel contrastive self-supervised graph neural network (GNN) without relying on explicit contrastive terms. We leverage Batch Normalization, which introduces implicit contrastive terms, without sacrificing performance. Furthermore, as data augmentation is key in contrastive learning, we introduce four feature augmentation (FA) techniques for graphs. Though graph topological augmentation (TA) is commonly used, our empirical findings show that FA perform as good as TA. Moreover, FA incurs no computational overhead, unlike TA, which often has O(N^3) time complexity, N-number of nodes. Our empirical evaluation on seven publicly available real-world data shows that, SelfGNN is powerful and leads to a performance comparable with SOTA supervised GNNs and always better than SOTA semi-supervised and unsupervised GNNs. The source code is available at https://github.com/zekarias-tilahun/SelfGNN.

研究の動機と目的

• 対照的自己教師ありグラフ学習における明示的負例サンプリングの高い計算コストと複雑さに対処すること。
• バッチ正則化による暗黙的対照的項が、GNNにおける明示的負例サンプリングを置き換え可能かどうかを検討すること。
• トポロジー的増幅の O(N³) の複雑さを回避する、軽量で効率的な特徴量増幅技術の開発。
• 教師ありGNNと同等の性能を、自己教師あり事前学習のみで達成すること。
• 明示的な対照的項がなくても、自己教師ありGNNが既存の半教師ありおよび非教師ありベースラインを上回ることを示すこと。

提案手法

• 同じグラフの2つの増幅されたビューから表現を学ぶために、重みを共有するシアンズ型の二重GNNアーキテクチャを採用する。
• バッチ正則化に依存して暗黙的に負例を生成することで、明示的な負例サンプリングの必要性を排除する。
• 4つの特徴量増幅（FA）技術を導入する：スプリット（特徴量の順列変更）、PPR（パーソナライズドページランク）、HK（ヒートカーネル）、Katz（Katz中心性）、いずれもノードごとに適用される。
• アーキテクチャに依存しない設計であり、任意のGNNタイプと互換性があり、プロジェクションヘッドを必要としない。プロジェクトヘッドは消去実験の結果、利点がなく、性能に悪影響を及けることが判明した。
• 訓練は、2つの増幅されたビュー間の一致を最大化する対照的目的関数を用い、バッチ正則化による暗黙的対照的性を活用する。
• 固定されたハイパーパrameterを用いて、標準的なノード分類ベンチマークでフレームワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 バッチ正則化のみで、明示的負例サンプリングの置き換えに十分な対照的信号を提供できるか？
• RQ2 特徴量増幅技術は、トポロジー的増幅と比較して性能と効率でどう異なるか？
• RQ3 プロジェクションヘッドを削除すると、自己教師ありGNNの性能が低下するか？
• RQ4 自己教師ありGNNは、ラベル付きデータを一切使用せずに、教師ありGNNと同等の性能を達成できるか？
• RQ5 特に大規模グラフにおいて、トポロジー的増幅と比較して、提案手法はスケーラブルで効率的か？

主な発見

• SelfGNN は、Cora や Citeseer、Pubmed を含む7つの実世界のデータセットにおいて、最先端の教師ありGNNと同等の性能を達成する。
• モデルは一貫して既存の半教師ありおよび非教師ありGNNを上回り、暗黙的対照的学習の有効性を示している。
• 特徴量増幅（FA）は、計算コストが低く、定数時間で動作するにもかかわらず、トポロジー的増幅（TA）と同等の性能を発揮する。
• トポロジー的増幅は強い正則化と少ないエポック数を必要とするが、特徴量増幅は高いドロップアウト率と多数のエポック数で恩恵を受ける。
• バッチ正則化は極めて重要であり、それを除去すると不安定で顕著に性能が低下する。
• プロジェクションヘッドは測定可能な利点を提供せず、分散を増加させるため、SelfGNNではその削除が正当化される。