[논문 리뷰] Rethinking and Scaling Up Graph Contrastive Learning: An Extremely Efficient Approach with Group Discrimination

Yizhen Zheng, Shirui Pan외 3명|arXiv (Cornell University)|2022. 06. 03.

Advanced Graph Neural Networks인용 수 51

한 줄 요약

이 논문은 Graph Group Discrimination (GD)와 Siamese 모델 GGD를 도입하여 대규모 그래프에서 학습 속도와 메모리 효율을 대폭 개선한 최첨단 자체-감독(Self-Supervised) 그래프 표현을 달성한다.

ABSTRACT

Graph contrastive learning (GCL) alleviates the heavy reliance on label information for graph representation learning (GRL) via self-supervised learning schemes. The core idea is to learn by maximising mutual information for similar instances, which requires similarity computation between two node instances. However, GCL is inefficient in both time and memory consumption. In addition, GCL normally requires a large number of training epochs to be well-trained on large-scale datasets. Inspired by an observation of a technical defect (i.e., inappropriate usage of Sigmoid function) commonly used in two representative GCL works, DGI and MVGRL, we revisit GCL and introduce a new learning paradigm for self-supervised graph representation learning, namely, Group Discrimination (GD), and propose a novel GD-based method called Graph Group Discrimination (GGD). Instead of similarity computation, GGD directly discriminates two groups of node samples with a very simple binary cross-entropy loss. In addition, GGD requires much fewer training epochs to obtain competitive performance compared with GCL methods on large-scale datasets. These two advantages endow GGD with very efficient property. Extensive experiments show that GGD outperforms state-of-the-art self-supervised methods on eight datasets. In particular, GGD can be trained in 0.18 seconds (6.44 seconds including data preprocessing) on ogbn-arxiv, which is orders of magnitude (10,000+) faster than GCL baselines while consuming much less memory. Trained with 9 hours on ogbn-papers100M with billion edges, GGD outperforms its GCL counterparts in both accuracy and efficiency.

연구 동기 및 목표

• 기존 그래프 대조 학습(GCL) 방법들을 재평가하고 비효율성을 식별한다.
• MI 기반 대조 손실의 대안 학습 패러다임으로 Group Discrimination(GD)을 제안한다.
• Siamese 네트워크 구조를 갖춘 GD를 사용하는 빠르고 확장 가능한 GCL 모델인 GGD를 개발한다.
• ogbn-papers100M를 포함한 여덟 개 데이터셋에서 최첨단 성능과 우수한 효율성을 입증한다.

제안 방법

• Group Discrimination(GD)를 원래 그래프/변형 그래프에서 얻은 양성 샘플과 두 그룹의 노드 샘플을 이진 교차 엔트로피 손실로 구분하는 것으로 정의한다.
• Siamese GNN 인코더와 프로젝터를 갖춘 Graph Group Discrimination(GGD)을 도입한다.
• 선택적 증강과 오염을 사용하여 양성 그룹과 음성 그룹을 생성한다.
• 단순한 집계 기반 확장을 통해 로컬 임베딩과 전역 정보 구성요소를 결합하여 임베딩을 추론한다(H = H_theta + H_theta^{global}).
• 명시적 노드 쌍 유사도 계산을 제거함으로써 교육 시간 및 메모리 이점을 크게 보여준다.

실험 결과

연구 질문

• RQ1 그룹 디스crimination(GD)가 그래프 대조 학습에서 상호 정보 기반 목표의 효과적인 대안이 될 수 있는가?
• RQ2 GD가 대규모 그래프에서 더 빠른 학습, 더 나은 확장성 및 감소된 메모리 사용를 가능하게 하면서 정확도를 유지하거나 향상시키는가?
• RQ3 GD 기반 학습 과정에서 증강 및 오염 전략의 영향은 무엇인가?
• RQ4 소형에서 초대형의 그래프 데이터셋에 걸쳐 GGD가 최첨단 GCL 방법들에 대해 어떻게 성능을 보이는가?

주요 결과

• GGD는 ogbn-arxiv, ogbn-products, ogbn-papers100M를 포함한 여덟 개 데이터셋에서 최첨단 또는 경쟁력 있는 정확도를 달성한다.
• GGD는 벤치마크 대비 현저히 빠르고 메모리 효율적이며, 예를 들어 Table 1의 가장 강력한 GCL 벤치마크와 비교했을 때 ogbn-arxiv에서 엔드-투-엔드 속도가 최대 10,783× 향상된다.
• ogbn-arxiv에서 GGD(1 에폭)는 전체 배치 벤치마크 대비 훨씬 더 적은 메모리와 시간으로 71.6–71.7%의 검증/테스트 정확도를 달성한다.
• GGD는 이웃 샘플링을 통해 매우 큰 그래프(ogbn-papers100M)까지 확장되며 에포크당 학습 시간이 크게 감소한 상태에서 경쟁력 있는 성능을 달성한다.
• GGD의 에포크당 학습 시간은 여러 데이터셋에서 기준선보다 한 차원 더 짧으며(예: 0.010–0.021s 대 0.059–0.158s 등), 메모리 사용도 대폭 감소한다.
• MI 기반 목표를 BCE 기반 Group Discrimination 손실로 대체한 ablation-유사 비교에서 메모리와 시간 소모가 크게 감소하되 성능 차이는 미미하다.