[論文レビュー] Neighbor Contrastive Learning on Learnable Graph Augmentation

Xiao Shen, Dewang Sun+3 more|arXiv (Cornell University)|Jan 4, 2023

Advanced Graph Neural Networks被引用数 9

ひとこと要約

本論文は、 neighbor contrastive learning を用いてグラフの増強と埋め込みを共同で学習するエンドツーエンドの手法 NCLA を提案し、アンカーごとに複数の正例を可能にし、適応的なトポロジを実現する。

ABSTRACT

Recent years, graph contrastive learning (GCL), which aims to learn representations from unlabeled graphs, has made great progress. However, the existing GCL methods mostly adopt human-designed graph augmentations, which are sensitive to various graph datasets. In addition, the contrastive losses originally developed in computer vision have been directly applied to graph data, where the neighboring nodes are regarded as negatives and consequently pushed far apart from the anchor. However, this is contradictory with the homophily assumption of networks that connected nodes often belong to the same class and should be close to each other. In this work, we propose an end-to-end automatic GCL method, named NCLA to apply neighbor contrastive learning on learnable graph augmentation. Several graph augmented views with adaptive topology are automatically learned by the multi-head graph attention mechanism, which can be compatible with various graph datasets without prior domain knowledge. In addition, a neighbor contrastive loss is devised to allow multiple positives per anchor by taking network topology as the supervised signals. Both augmentations and embeddings are learned end-to-end in the proposed NCLA. Extensive experiments on the benchmark datasets demonstrate that NCLA yields the state-of-the-art node classification performance on self-supervised GCL and even exceeds the supervised ones, when the labels are extremely limited. Our code is released at https://github.com/shenxiaocam/NCLA.

研究の動機と目的

• データセット全体で固定的で人間設計の増強に対するグラフ対照学習の感度を解決する。
• 増強と表現を同時に学習する完全自動の GCL フレームワークを開発する。
• ネットワーク同質性（ホモフィリティ）に合わせて近傍ベースの正例を活用し、ラベルが限定的な下流タスクを改善する。

提案手法

• 適応的なトポロジを持つ増強ビューを学習するマルチヘッドグラフアテンション機構を介して、学習可能なグラフ増強を導入する。
• ネットワークトポロジを監督信号として用い、各アンカーに対して複数の正例を許す neighbor contrastive loss を定義する。
• NCLA フレームワーク内で増強と埋め込みをエンドツーエンドで訓練する。
• 事前のドメイン知識を必要とせず、多様なグラフデータセットとの適合性を実証する。

実験結果

リサーチクエスチョン

• RQ1 グラフアテンションによる学習可能な増強は、データセット全体でGCLに効果的な増強ビューを生み出せるか？
• RQ2 複数の正例を用いる近傍ベースの対照学習は、固定増強のGCL手法を上回るか？
• RQ3 NCLA は自己教師付き設定で最新のノード分類性能を達成し、ラベルが不足している場合には監視あり手法を凌駕できるか？

主な発見

• NCLA はベンチマークデータセットにおいて自己教師ありGCLで最先端のノード分類性能を達成する。
• NCLA はラベルが極めて限られている場合、監督付きのベースラインを上回ることができる。
• この手法は、ドメイン固有の増強知識を必要とせず、さまざまなグラフデータセットで頑健性を示す。