[論文レビュー] Bootstrapped Representation Learning on Graphs

Shantanu Thakoor, Corentin Tallec+4 more|arXiv (Cornell University)|Feb 12, 2021

Advanced Graph Neural Networks参考文献 44被引用数 54

ひとこと要約

本稿では、対照学習の負例ペairを排除し、計算コストとメモリ使用量の二次関数的増加を回避する、BYOLにインspiredされた自己教師ありグラフ表現学習手法BGRLを提案する。ボトムアップ機構を用いたターゲットネットワークとオンラインネットワークにより、SOTA性能を達成しており、GATを用いたPPIでは70.49%のマイクロ-F1を記録し、従来の自己教師あり手法を上回り、他のベンチマークでは教師ありGNNと同等またはそれを上回る性能を示している。

ABSTRACT

Current state-of-the-art self-supervised learning methods for graph neural networks (GNNs) are based on contrastive learning. As such, they heavily depend on the construction of augmentations and negative examples. For example, on the standard PPI benchmark, increasing the number of negative pairs improves performance, thereby requiring computation and memory cost quadratic in the number of nodes to achieve peak performance. Inspired by BYOL, a recently introduced method for self-supervised learning that does not require negative pairs, we present Bootstrapped Graph Latents, BGRL, a self-supervised graph representation method that gets rid of this potentially quadratic bottleneck. BGRL outperforms or matches the previous unsupervised state-of-the-art results on several established benchmark datasets. Moreover, it enables the effective usage of graph attentional (GAT) encoders, allowing us to further improve the state of the art. In particular on the PPI dataset, using GAT as an encoder we achieve state-of-the-art 70.49% Micro-F1, using the linear evaluation protocol. On all other datasets under consideration, our model is competitive with the equivalent supervised GNN results, often exceeding them.

研究の動機と目的

• ノード数の増加に伴い負例ペアの構築に起因する二次関数的増加による計算コストとメモリ使用量の増大を解消する。
• 視覚分野で成功したBYOLのアイデアにインspiredされ、負例に依存しない自己教師ありグラフ表現学習手法の開発。
• グラフアテンション機構（GAT）を無教師事前学習に効果的に活用するための手法の提供。
• 線形評価プロトコル下で標準的なグラフベンチマークデータセットにおいてSOTA性能を達成すること。
• 自己教師ありGNNが複数のデータセットにおいて教師ありGNNと同等またはそれを上回る性能を達成できることの実証。

提案手法

• BGRLは、2つのニューラルネットワーク（オンラインネットワークとターゲットネットワーク）を用いた、グラフ向けのボトムアップベースの自己教師あり学習フレームワークを提案する。
• ターゲットネットワークは、オンラインネットワークの重みの指数的移動平均（EMA）としてゆっくりと更新され、負例を必要としない対照学習に類似した目標を提供する。
• データオーグメンテーション（例：ノードマスキング、エッジドロップ）を用いて、同一グラフの2つのビューを生成し、これらをオンラインネットワークとターゲットネットワークで符号化する。
• 負例を必要とせず、2つのオーグメント化されたビューの表現間の距離を最小化することで、対照学習を回避する。
• ターゲットネットワークの特徴量に対してストップ・グラデント操作を適用することで、負例なしでも学習が安定化する。
• GATを含むさまざまなGNNアーキテクチャと互換性があり、アテンション機構による性能向上を可能にする。

実験結果

リサーチクエスチョン

• RQ1 負例を排除しても性能に劣らない自己教師ありグラフ学習手法は可能か？
• RQ2 BYOLのボトムアップ的手法が、負例計算の二次関数的複雑性を回避するために、グラフ構造データに適応可能か？
• RQ3 BGRLをGATと組み合わせることで、従来の無教師手法と比較してより優れた性能を達成できるか？
• RQ4 BGRLによる無教師事前学習が、標準ベンチマークで教師ありGNNと同等またはそれを上回る性能を達成できるか？
• RQ5 特に大規模グラフにおいて、BGRLは対照手法と比較して計算コストの面でどのようにスケーリングするか？

主な発見

• 線形評価プロトコル下でPPIデータセットにおいて70.49%のマイクロ-F1を達成し、従来の無教師手法を上回るSOTA性能を実現した。
• 評価された他のすべてのベンチマークデータセットにおいて、BGRLの性能は教師ありGNNと同等またはそれを上回った。
• 負例の必要性を排除することで、ノード数の増加に伴う二次関数的スケーリングを回避し、計算コストとメモリ使用量を顕著に削減した。
• BGRLは、無教師事前学習におけるGATエンコーダーの効果的活用を可能にし、PPIでの性能向上に寄与した。
• 複数のデータセットにわたり強力な性能を維持し、異なるグラフ構造に対して一般化性とロバストネスを示した。
• アブレーションスタディにより、EMAとストップ・グラデントを組み合わせたボトムアップ機構が、安定した学習と高い性能に不可欠であることが確認された。