[論文レビュー] Link Prediction with Non-Contrastive Learning

William Shiao, Zhichun Guo+4 more|arXiv (Cornell University)|Nov 25, 2022

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本稿では、非対照的グラフ自己教師あり学習フレームワークT-BGRLを提案する。この手法は、高価な負例サンプリングの代わりに安価な入力ノイズを適用することで、インダクティブ設定における汎化性能を向上させる。非対照的手法のベースライン比でHits@50で最大120%の向上を達成し、最良の対照的ベースライン比で14倍高速である。6つのデータセットのうち5つで強力な性能を維持している。

ABSTRACT

A recent focal area in the space of graph neural networks (GNNs) is graph self-supervised learning (SSL), which aims to derive useful node representations without labeled data. Notably, many state-of-the-art graph SSL methods are contrastive methods, which use a combination of positive and negative samples to learn node representations. Owing to challenges in negative sampling (slowness and model sensitivity), recent literature introduced non-contrastive methods, which instead only use positive samples. Though such methods have shown promising performance in node-level tasks, their suitability for link prediction tasks, which are concerned with predicting link existence between pairs of nodes (and have broad applicability to recommendation systems contexts) is yet unexplored. In this work, we extensively evaluate the performance of existing non-contrastive methods for link prediction in both transductive and inductive settings. While most existing non-contrastive methods perform poorly overall, we find that, surprisingly, BGRL generally performs well in transductive settings. However, it performs poorly in the more realistic inductive settings where the model has to generalize to links to/from unseen nodes. We find that non-contrastive models tend to overfit to the training graph and use this analysis to propose T-BGRL, a novel non-contrastive framework that incorporates cheap corruptions to improve the generalization ability of the model. This simple modification strongly improves inductive performance in 5/6 of our datasets, with up to a 120% improvement in Hits@50--all with comparable speed to other non-contrastive baselines and up to 14x faster than the best-performing contrastive baseline. Our work imparts interesting findings about non-contrastive learning for link prediction and paves the way for future researchers to further expand upon this area.

研究の動機と目的

• 推薦システムにおける重要なタスクであるリンク予測に、非対照的自己教師あり学習手法の適性を評価すること。
• 特にBGRLを含む既存の非対照的手法が、インダクティブなリンク予測設定で性能を発揮できない理由を特定すること。
• 未観測ノードへの一般化において非対照的モデルが過学習を起こす問題を、軽量なノイズベースの正則化機構によって解消すること。
• 非対照的学習の高速性を維持しつつ、対照的ベースラインと同等またはそれを上回る性能を達成する手法の開発

提案手法

• T-BGRLはBGRLを拡張し、明示的な負例サンプリングを伴わずに、入力グラフの安価な擬似負例を生成するノイズ関数を導入する。
• ノイズ処理は、元のグラフ入力に対して単純で低コストな変換（例：ノード特徴量のマスキング、エッジのドロップ）を適用し、拡張されたビューを生成する。
• モデルは元のビューとノイズ付きビューの間で対照的のような目的関数を用いるが、負例を必要としないため、非対照的学習の効率性を保つ。
• 損失関数は、元のビューとノイズ付きビュー間の特徴不変性を促進し、未観測ノードへのロバスト性と一般化性能を向上させる。
• フレームワークは標準のGNNエンコーダと予測ヘッドを用いてエンドツーエンドで訓練され、ノイズ処理は順伝搬中に適用される。
• 本手法は6つのベンチマークデータセットを対象に、トランスダクティブおよびインダクティブなリンク予測設定の両方で評価されている。

実験結果

リサーチクエスチョン

• RQ1 非対照的グラフSSL手法、特にBGRLがトランスダクティブ設定では優れた性能を示す一方で、なぜインダクティブなリンク予測設定では性能を発揮できないのか？
• RQ2 リンク予測における未観測ノードへの一般化において、非対照的モデルが過学習を起こす主な原因は何か？
• RQ3 負例サンプリングの計算コストを再導入せずに、軽量なノイズ機構が非対照的リンク予測の一般化性能を向上させられるか？
• RQ4 T-BGRLの性能は、非対照的および対照的ベースラインと比較して、インダクティブなリンク予測の精度と学習速度の両面でどう異なるか？

主な発見

• BGRLはトランスダクティブなリンク予測で優れた性能を示し、6つのデータセットのうち4つで対照的モデル（margin-loss GCN）と同等またはそれを上回る性能を達成した。
• インダクティブなリンク予測では、未観測ノードを含む正例・負例ペairの表現が互いに押し離されてしまうことによる過学習が原因で、性能が著しく低下した。
• T-BGRLは6つのデータセットのうち5つでBGRLのインダクティブ性能を向上させ、Hits@50で最大120%の向上を達成した。
• T-BGRLは他の非対照的手法と同等の学習速度を維持しており、Coauthor-Phyデータセットでは最良の対照的ベースライン（margin-loss GCN）の14倍高速であった。
• T-BGRLにおけるノイズベースの拡張は、高価な負例サンプリングを必要とせず、過学習を効果的に低減し、一般化性能を向上させた。
• 提案手法は非対照的手法の中での最先端性能を達成し、対照的ベースラインと同等またはそれを上回る性能をインダクティブなリンク予測で示した一方で、著しく高速であった。