[논문 리뷰] Localized Contrastive Learning on Graphs

Hengrui Zhang, Qitian Wu외 4명|arXiv (Cornell University)|2022. 12. 08.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 그래프 신경망을 위한 단순하면서도 효과적인 대비 학습 방법인 Local-GCL을 제안한다. 이 방법은 데이터 증강에 의존하지 않고, 각 노드의 일차 이웃을 긍정 예시로 사용하며, 이 quadratic complexity를 가지는 InfoNCE 손실을 선형 시간 복잡도를 가지는 커널화된 대체 손실로 대체한다. 이 방법은 일곱 개의 노드 분류 벤치마크 중 여섯 개에서 최신 기술 성능(SOTA)을 달성하고, Ogbn-Arxiv에서도 경쟁력 있는 성능을 보이며 훨씬 더 빠른 훈련 속도를 기록하여, 동질성과 이질성 그래프 모두에서 효율성과 강건성을 입증한다.

ABSTRACT

Contrastive learning methods based on InfoNCE loss are popular in node representation learning tasks on graph-structured data. However, its reliance on data augmentation and its quadratic computational complexity might lead to inconsistency and inefficiency problems. To mitigate these limitations, in this paper, we introduce a simple yet effective contrastive model named Localized Graph Contrastive Learning (Local-GCL in short). Local-GCL consists of two key designs: 1) We fabricate the positive examples for each node directly using its first-order neighbors, which frees our method from the reliance on carefully-designed graph augmentations; 2) To improve the efficiency of contrastive learning on graphs, we devise a kernelized contrastive loss, which could be approximately computed in linear time and space complexity with respect to the graph size. We provide theoretical analysis to justify the effectiveness and rationality of the proposed methods. Experiments on various datasets with different scales and properties demonstrate that in spite of its simplicity, Local-GCL achieves quite competitive performance in self-supervised node representation learning tasks on graphs with various scales and properties.

연구 동기 및 목표

• 그래프 대비 학습이 복잡하고 작업에 특화된 데이터 증강에 의존하는 문제를 해결하기 위해.
• 대규모 그래프 환경에서 표준 대비 학습(예: InfoNCE)의 이차 복잡도인 계산 및 메모리 복잡도를 극복하기 위해.
• 부정 샘플링이나 증강 없이도 경량이며 확장 가능하고 효과적인 그래프용 자기지도 학습 노드 표현 학습 방법을 개발하기 위해.
• 낮은 동질성과 대규모 그래프를 포함한 다양한 유형의 그래프에서 방법의 효과성을 검증하기 위해.

제안 방법

• 각 노드의 일차 이웃에서 직접 긍정 쌍을 구성함으로써 데이터 증강이 필요 없도록 한다.
• 표준 InfoNCE 손실의 대체로 커널화된 대비 손실을 제안하여 선형 시간 및 선형 공간 계산을 가능하게 한다.
• 랜덤 특징 매핑을 활용하여, 효율적인 계산을 위해 표현 정리 이론을 적용해 부정 항을 근사한다.
• 표준 GCN 인코더를 사용하고, 제안된 손실을 통해 노드 표현을 그들의 국소 이웃과 대비한다.
• 모델은 미니배치 분할 문제를 피하기 위해 전체 그래프 훈련과 완전히 호환되도록 설계되어 있다.
• 이론적 분석을 통해 방법의 효과성을 뒷받침하며, 임베딩 차원이 클수록 예측 오차 경계가 감소함을 보여준다.

실험 결과

연구 질문

• RQ1 데이터 증강이 필요 없이 성능을 유지하거나 향상시킬 수 있는가?
• RQ2 그래프 크기에 비례해 복잡도를 이차에서 선형으로 줄일 수 있는 대비 손실을 설계할 수 있는가?
• RQ3 Ogbn-Arxiv와 같은 대규모 그래프에서 제안된 방법은 스케일러블 베이스라인과 비교해 어떻게 성능을 내는가?
• RQ4 노드 특징과 레이블이 이웃과 상관관계가 낮은 이질성 그래프에서도 일반화 가능한가?
• RQ5 제안된 프레임워크에서 임베딩 및 투영 차원의 성능에 대한 민감도는 어떠한가?

주요 결과

• Local-GCL은 Cora, Citeseer, Pubmed를 포함한 일곱 개의 노드 분류 벤치마크 중 여섯 개에서 최신 기술 성능(SOTA)을 달성한다.
• 대규모 Ogbn-Arxiv 데이터셋에서 Local-GCL은 72.29%의 테스트 정확도를 기록했으며, GRACE보다 훨씬 더 빠른 훈련 속도를 보였고, BGRL 및 CCA-SSG와 유사한 성능을 기록했다.
• CCA-SSG 및 BGRL보다 최대 2배 빠른 훈련 속도를 기록하면서도 경쟁 가능한 정확도를 유지하여 뛰어난 효율성을 입증했다.
• Photo 및 Computers와 같은 이질성 그래프에서도 양호한 성능을 보이며, 동질성 설정을 넘어서 강건함을 입증했다.
• 임베딩 차원이 커질수록 성능이 향상되며(예: 최대 2048까지), 투영 차원의 영향은 미미하여 실질적인 효율성을 보여준다.
• 제거 실험을 통해 이웃 기반 긍정 예시 구성 방식이 효과적이며, 커널화된 손실이 부정 샘플링 없이도 확장 가능한 훈련을 가능하게 한다는 점을 확인했다.