[논문 리뷰] Towards Graph Contrastive Learning: A Survey and Beyond

Wei Ju, Yifan Wang외 11명|arXiv (Cornell University)|2024. 05. 20.

Advanced Graph Neural Networks인용 수 22

한 줄 요약

이 논문은 Graph Contrastive Learning (GCL)에 대한 전용 설문을 제공합니다. 핵심 원리, 데이터 효율적 학습으로의 확장, 실제 응용, 그리고 향후 방향을 자세히 설명합니다.

ABSTRACT

In recent years, deep learning on graphs has achieved remarkable success in various domains. However, the reliance on annotated graph data remains a significant bottleneck due to its prohibitive cost and time-intensive nature. To address this challenge, self-supervised learning (SSL) on graphs has gained increasing attention and has made significant progress. SSL enables machine learning models to produce informative representations from unlabeled graph data, reducing the reliance on expensive labeled data. While SSL on graphs has witnessed widespread adoption, one critical component, Graph Contrastive Learning (GCL), has not been thoroughly investigated in the existing literature. Thus, this survey aims to fill this gap by offering a dedicated survey on GCL. We provide a comprehensive overview of the fundamental principles of GCL, including data augmentation strategies, contrastive modes, and contrastive optimization objectives. Furthermore, we explore the extensions of GCL to other aspects of data-efficient graph learning, such as weakly supervised learning, transfer learning, and related scenarios. We also discuss practical applications spanning domains such as drug discovery, genomics analysis, recommender systems, and finally outline the challenges and potential future directions in this field.

연구 동기 및 목표

• 그래프 자체지도 학습(graph self-supervised learning) 내에서 Graph Contrastive Learning (GCL)의 기본 원리를 식별하고 명확히 제시한다.
• 데이터 증강, 대비 모드, 최적화 목표와 같은 GCL 구성 요소를 체계적으로 분류한다.
• 약하게 지도된 학습(weakly supervised learning)과 전이 학습(transfer learning)을 포함한 데이터 효율적 설정으로의 GCL 확장을 탐구한다.
• 약물 발견, 유전체학, 추천 시스템 등과 같은 도메인 전반에 걸친 GCL의 실제 응용을 강조한다.
• GCL 연구를 위한 추가 연구를 이끄는 도전 과제와 향후 방향을 개요한다.

제안 방법

• GCL에서 사용되는 증강 전략을 요약하되, 규칙 기반 증강과 학습된 증강을 모두 포함한다.
• 다양한 대비 모드(intra-scale, inter-scale, local-global 등)를 설명하고 서로 다른 데이터 규모에서 어떻게 작동하는지 설명한다.
• InfoNCE 기반 및 비대조적(non-contrastive) 접근법을 포함한 대비 최적화 목표를 검토한다.
• 약한 지도 학습 및 전이 학습과 같은 데이터 효율적 학습으로의 확장을 논의한다.
• 다양한 도메인에서 GCL을 구현하기 위한 실제 응용과 실질적 고려사항을 제시한다.

실험 결과

연구 질문

• RQ1 Graph Contrastive Learning을 정의하는 핵심 구성 요소(증강, 대비 모드, 그리고 목표)는 무엇인가?
• RQ2 GCL을 약한 감독 학습(weak supervision) 및 전이 학습과 같은 데이터 효율적 설정으로 어떻게 확장할 수 있는가?
• RQ3 약물 발견, 유전체학, 추천 시스템 등과 같은 분야에서의 GCL의 실용적 응용은 무엇인가?
• RQ4 GCL 연구의 주요 도전 과제와 향후 방향은 무엇인가?

주요 결과

• GCL은 고유한 설계 선택에 초점을 맞춘 전용 리뷰가 필요한 빠르게 성장하는 분야이다.
• 증강, 대비 모드, 그리고 최적화 목표가 GCL 성능을 좌우하는 핵심 조정 변수이다.
• GCL은 약한 감독 학습 및 전이 학습 맥락으로 확장될 수 있어 그래프에서의 데이터 효율적 학습을 확장한다.
• GCL의 응용은 약물 발견, 유전체학, 추천 시스템, 사회 네트워크, 트래픽 예측에 걸쳐 있다.
• 이 설문은 과제들을 개략하고 GCL을 발전시키기 위한 향후 연구 방향을 제시한다.