[論文レビュー] Augmentation-Free Graph Contrastive Learning with Performance Guarantee

Haonan Wang, Jieyu Zhang+2 more|arXiv (Cornell University)|Apr 11, 2022

Advanced Graph Neural Networks被引用数 9

ひとこと要約

本稿では、データの増幅に依存せずに、GNNの特徴の集約を利用して自己教師信号を構築する、新しい増幅フリーのグラフ対照的学習手法AF-GCLを提案する。この手法は、計算コストを著しく削減しながら、同質的および非同質的グラフの両方で最先端の性能を達成し、理論的な性能保証を提供する。非同質的ベンチマークにおいて、既存の最先端手法を上回る性能を発揮する。

ABSTRACT

Graph contrastive learning (GCL) is the most representative and prevalent self-supervised learning approach for graph-structured data. Despite its remarkable success, existing GCL methods highly rely on an augmentation scheme to learn the representations invariant across different augmentation views. In this work, we revisit such a convention in GCL through examining the effect of augmentation techniques on graph data via the lens of spectral theory. We found that graph augmentations preserve the low-frequency components and perturb the middle-and high-frequency components of the graph, which contributes to the success of GCL algorithms on homophilic graphs but hinder its application on heterophilic graphs, due to the high-frequency preference of heterophilic data. Motivated by this, we propose a novel, theoretically-principled, and augmentation-free GCL method, named AF-GCL, that (1) leverages the features aggregated by Graph Neural Network to construct the self-supervision signal instead of augmentations and therefore (2) is less sensitive to the graph homophily degree. Theoretically, We present the performance guarantee for AF-GCL as well as an analysis for understanding the efficacy of AF-GCL. Extensive experiments on 14 benchmark datasets with varying degrees of heterophily show that AF-GCL presents competitive or better performance on homophilic graphs and outperforms all existing state-of-the-art GCL methods on heterophilic graphs with significantly less computational overhead.

研究の動機と目的

• 既存のグラフ対照的学習（GCL）手法がデータ増幅に強く依存するという限界を調査すること。
• グラフの増幅が、グラフデータの周波数成分（低周波、中周波、高周波）に与える影響を分析すること。
• 高周波成分が重要となる非同質的グラフにおいて、既存のGCL手法が性能を発揮できない理由を解明すること。
• 高周波成分を保持し、同質的および非同質的グラフの両方に一般化可能な増幅フリーのGCL手法を開発すること。
• 提案手法に理論的な性能保証を提供すること。

提案手法

• AF-GCLは、1つのGNNエンコーダから得られる集約されたノード特徴量に基づいて、ポジティブおよびネガティブペアを構築する。これにより、データ増幅の必要がなくなる。
• 高次元空間における表現間の距離を最適化する対照的損失を用いる。これは、GNNで集約された特徴量の集中性を利用している。
• 2本のブランチを用いる手法と比較して、メモリおよび計算オーバーヘッドを低減する1本のブランチアーキテクチャを採用する。
• 選択されたノードの特徴埋め込み同士の内積を用いて自己教師信号を定式化することで、計算を効率化する。
• 理論的分析により、特徴量の集中性およびグラフ構造に関するある仮定の下で、AF-GCLが性能保証を維持できることを示した。
• すべてのペア計算や2エンコーダー計算を回避することで、大規模グラフへのスケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 一般的なグラフ増幅技術が、グラフデータの周波数成分（低周波、中周波、高周波）にどのように影響を与えるか？
• RQ2 同質的グラフでは成功を収めるが、非同質的グラフでは性能が劣る既存の増幅ベースのGCL手法の理由は何か？
• RQ3 データ増幅に依存せずに、性能を維持または向上させられるグラフ対照的学習手法を設計可能か？
• RQ4 GNNで集約された特徴量に基づく増幅フリーのGCL手法に、どのような理論的保証を提供できるか？
• RQ5 非同質的グラフに不可欠な高周波成分を保持する自己教師信号を構築することは可能か？

主な発見

• AF-GCLは、Coauthor-Phy や Twitch-gamers など、6つの非同質的グラフベンチマークで、従来の手法が苦戦する分野において、すべての既存の最先端GCL手法を上回る性能を発揮した。
• 同質的グラフでは、WikiCS や Amazon-Computers などのデータセットで、競争力のある性能を達成し、SOTA結果と同等またはそれを上回った。
• GRACE や BGRL と比較して、GPUメモリ使用量を最大50％まで削減した。Twitch-gamers ではピークメモリ使用量が22.15GB（BGRLの26.22GBと比較）であった。
• Twitch-DE では、隠れ次元1024で73.51％の精度を達成し、表現の大きさが増すにつれて一貫した改善が見られた。
• 計算オーバーヘッドが著しく低く抑えられ、1更新ステップあたり2回のGNN順伝播で済む。これに対してBGRLは4回、GCAは2回（加えて高価なすべてのペア計算を要する）であった。
• 理論的分析により、特徴量の集中性に関する仮定の下で、AF-GCLが性能保証を維持できることを確認した。これにより、その有効性に原理的根拠が与えられた。