[논문 리뷰] Augmentation-Free Graph Contrastive Learning with Performance Guarantee

Haonan Wang, Jieyu Zhang외 2명|arXiv (Cornell University)|2022. 04. 11.

Advanced Graph Neural Networks인용 수 9

한 줄 요약

이 논문은 데이터 증강을 사용하지 않고, GNN 특징의 집합적 특징을 사용하여 자기지도 신호를 구성하는 새로운 증강 없는 그래프 대비 학습 방법인 AF-GCL을 제안한다. 이 방법은 동일한 계산 비용을 크게 줄이며, 동형성과 이형성 그래프 양쪽에서 최신 기술 수준(SOTA) 성능을 달성하고 이론적 성능 보장을 제공하여, 이형성 기준에서 기존 SOTA 방법을 능가한다.

ABSTRACT

Graph contrastive learning (GCL) is the most representative and prevalent self-supervised learning approach for graph-structured data. Despite its remarkable success, existing GCL methods highly rely on an augmentation scheme to learn the representations invariant across different augmentation views. In this work, we revisit such a convention in GCL through examining the effect of augmentation techniques on graph data via the lens of spectral theory. We found that graph augmentations preserve the low-frequency components and perturb the middle-and high-frequency components of the graph, which contributes to the success of GCL algorithms on homophilic graphs but hinder its application on heterophilic graphs, due to the high-frequency preference of heterophilic data. Motivated by this, we propose a novel, theoretically-principled, and augmentation-free GCL method, named AF-GCL, that (1) leverages the features aggregated by Graph Neural Network to construct the self-supervision signal instead of augmentations and therefore (2) is less sensitive to the graph homophily degree. Theoretically, We present the performance guarantee for AF-GCL as well as an analysis for understanding the efficacy of AF-GCL. Extensive experiments on 14 benchmark datasets with varying degrees of heterophily show that AF-GCL presents competitive or better performance on homophilic graphs and outperforms all existing state-of-the-art GCL methods on heterophilic graphs with significantly less computational overhead.

연구 동기 및 목표

• 기존 그래프 대비 학습(GCL) 방법이 데이터 증강에 크게 의존하는 데서 비롯하는 한계를 탐구하기 위해.
• 그래프 증강이 그래프 데이터의 스펙트럼 성분(저주파, 중간주파, 고주파)에 미치는 영향을 분석하기 위해.
• 고주파 정보가 핵심적인 이형성 그래프에서 기존 GCL 방법의 낮은 성능을 해결하기 위해.
• 고주파 정보를 유지하고 동형성 및 이형성 그래프 양쪽에서 일반화 가능한 증강 없는 GCL 방법을 개발하기 위해.
• 제안된 방법에 대한 이론적 성능 보장을 제공하기 위해.

제안 방법

• AF-GCL은 단일 GNN 인코더에서 생성된 집합적 노드 특징을 바탕으로 양성 및 음성 쌍을 구성하여 데이터 증강이 필요 없도록 한다.
• 고차원 공간에서 표현 간 거리 최적화를 위한 대비 손실을 사용하며, GNN 집합 특징의 농도 성질을 직접 활용한다.
• 이중 브랜치 방법에 비해 메모리 및 계산 오버헤드를 줄이는 단일 브랜치 아키텍처를 채택한다.
• 선택된 노드의 특징 임bedding 간 내적을 사용하여 자기지도 신호를 정의함으로써 효율적인 계산을 가능하게 한다.
• 이론적 분석을 통해 AF-GCL이 특징 농도 및 그래프 구조에 대한 일정한 가정 하에 성능 보장을 유지함을 확인하였다.
• 모든 쌍 계산이나 이중 인코더 계산을 피하는 방식으로 대규모 그래프에 대해 확장 가능하도록 설계되었다.

실험 결과

연구 질문

• RQ1 일반적인 그래프 증강 기법이 그래프 데이터의 스펙트럼 성분(저주파, 중간주파, 고주파)에 어떤 영향을 미치는가?
• RQ2 기존 증강 기반 GCL 방법이 동형성 그래프에서는 성공했지만 이형성 그래프에서는 성능이 열등한 이유는 무엇인가?
• RQ3 데이터 증강에 의존하지 않으면서도 성능을 유지하거나 향상시킬 수 있는 그래프 대비 학습 방법을 설계할 수 있는가?
• RQ4 GNN 집합 특징에 기반한 증강 없는 GCL 방법에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ5 이형성 그래프에 필수적인 고주파 정보를 유지하는 자기지도 신호를 구성하는 것은 가능한가?

주요 결과

• AF-GCL은 Coauthor-Phy 및 Twitch-gamers를 포함한 6개의 이형성 그래프 기준에서 기존 모든 최신 기술 수준(SOTA) GCL 방법을 능가한다.
• 동형성 그래프에서는 경쟁력 있는 성능를 달성하여 WikiCS 및 Amazon-Computers와 같은 데이터셋에서 SOTA 결과를 충족하거나 초월한다.
• GRACE와 BGRL에 비해 GPU 메모리 사용량을 최대 50%까지 줄였으며, Twitch-gamers에서 피크 메모리 사용량은 22.15GB로 BGRL의 26.22GB보다 낮다.
• 은닉 차원이 1024인 Twitch-DE에서 73.51%의 정확도를 기록하여 더 큰 표현에서의 일관된 향상을 보였다.
• 계산 오버헤드가 크게 낮아, 업데이트 단계당 GNN 전방향 전파가 단지 두 번으로 충분하며, BGRL의 네 번과 GCA의 두 번(추가로 비용이 많이 드는 전쌍 계산 포함)에 비해 유의미하게 낮다.
• 이론적 분석을 통해 AF-GCL이 특징 농도와 관련된 가정 하에 성능 보장을 유지함을 확인하여 그 효용성에 체계적인 기반을 제공하였다.