[논문 리뷰] Self-supervised Learning on Graphs: Contrastive, Generative,or Predictive

Lirong Wu, Haitao Lin외 3명|arXiv (Cornell University)|2021. 05. 16.

Advanced Graph Neural Networks인용 수 13

한 줄 요약

이 종합 검토는 그래프 데이터를 위한 자기지도 학습(SSL) 방법에 대한 포괄적인 리뷰를 제시하며, 대조적, 생성적, 예측적 접근 방식으로 분류한다. 통합된 수학적 프레임워크를 제공하고 표준 데이터셋을 기반으로 방법을 벤치마킹하며, 오픈소스 구현을 제공함으로써 그래프 SSL 연구 분야의 방법론적 명확성과 재현 가능성을 크게 향상시킨다.

ABSTRACT

Deep learning on graphs has recently achieved remarkable success on a variety of tasks, while such success relies heavily on the massive and carefully labeled data. However, precise annotations are generally very expensive and time-consuming. To address this problem, self-supervised learning (SSL) is emerging as a new paradigm for extracting informative knowledge through well-designed pretext tasks without relying on manual labels. In this survey, we extend the concept of SSL, which first emerged in the fields of computer vision and natural language processing, to present a timely and comprehensive review of existing SSL techniques for graph data. Specifically, we divide existing graph SSL methods into three categories: contrastive, generative, and predictive. More importantly, unlike other surveys that only provide a high-level description of published research, we present an additional mathematical summary of existing works in a unified framework. Furthermore, to facilitate methodological development and empirical comparisons, we also summarize the commonly used datasets, evaluation metrics, downstream tasks, open-source implementations, and experimental study of various algorithms. Finally, we discuss the technical challenges and potential future directions for improving graph self-supervised learning. Latest advances in graph SSL are summarized in a GitHub repository https://github.com/LirongWu/awesome-graph-self-supervised-learning.

연구 동기 및 목표

• 그래프 표현 학습에서 레이블이 부여된 데이터의 높은 비용과 부족함을 해결하기 위해 자기지도 학습(SSL) 기법을 발전시키는 것.
• 컴퓨터 비전과 자연어 처리에서 성공한 SSL을 그래프 영역으로 확장함으로써, 구조적이고 특징이 풍부한 데이터가 제공하는 고유한 기회를 활용하는 것.
• 다양한 그래프 SSL 방법에 공통으로 적용되는 핵심 원리를 명확히 하기 위해 통합된 수학적 프레임워크를 제공하는 것.
• 표준화된 데이터셋, 평가 지표, 오픈소스 구현을 사용하여 기존 방법을 통합하고 비교함으로써 재현 가능성을 확보하는 것.
• 일반화 성능 향상을 위해 사전과제(task) 목표와 최종 작업 목표를 더 잘 일치시키기 위한 주요 과제와 향후 연구 방향을 규명하는 것.

제안 방법

• 그래프 SSL 방법을 세 가지 파ragm으로 분류한다: 대조적(데이터 증강을 통한 불변 표현 학습), 생성적(그래프 구조나 특징 재구성), 예측적(예측 작업을 위한 자기 생성 레이블 생성).
• 대조적, 생성적, 예측적 그래프 SSL 방법의 핵심 학습 목표를 표현하기 위한 통합된 수학적 수식을 도입한다.
• 대조 학습을 위한 양성 샘플 쌍을 생성하기 위해 노드 마스킹, 엣지 제거, 특징 변형 등의 데이터 증강 전략을 활용한다.
• 생성적 SSL에서 복구 기반 사전과제를 적용하여, 손상된 시각에서 원래의 그래프 구조나 노드 특징을 재구성하는 데 모델이 학습하도록 한다.
• 중심성 지표, 메타패스 패턴 등 히우리스틱이나 전문 지식을 활용해 예측 사전과제를 설계하여 최종 전이 작업을 위한 가짜 레이블을 생성한다.
• Cora, PubMed, IMDB-B, MUTAG 등의 공통 데이터셋을 사용하여 8개의 노드 분류 및 7개의 그래프 분류 벤치마크에서 평가를 표준화한다.

실험 결과

연구 질문

• RQ1 자기지도 학습이 다양한 그래프 표현 학습 파라다임 간에 체계적으로 분류되고 통합될 수 있는가?
• RQ2 대조적, 생성적, 예측적 그래프 SSL 방법에 내재된 핵심 수학 원리는 무엇이며, 이를 동일한 프레임워크로 어떻게 표현할 수 있는가?
• RQ3 노드 및 그래프 분류 정확도 측면에서 표준 벤치마크에서 다양한 그래프 SSL 방법의 성능은 어떻게 되는가?
• RQ4 그래프 SSL에서 일반화 성능 향상에 가장 효과적인 데이터 증강 및 사전과제 설계는 무엇인가?
• RQ5 사전과제 목표와 최종 작업 목표를 더 잘 일치시켜 모델의 전이 능력을 향상시키기 위해 남아 있는 주요 기술적 과제는 무엇인가?

주요 결과

• 대조적 방법인 GRACE와 BGRL은 노드 분류에서 최고 성능을 기록했으며, GRACE는 Coauthor-Physics에서 95.26%의 정확도를 달성했다.
• 생성적 방법인 Graph-BERT와 GCA는 뛰어난 성능을 보였으며, GCA는 Coauthor-Physics에서 95.75%의 정확도와 Amazon-Computers에서 93.10%의 정확도를 기록했다.
• 예측적 방법인 SelfGNN과 KS2L은 경쟁력 있는 성능을 보였으며, SelfGNN은 Coauthor-Physics에서 95.50%의 정확도를 달성했고, KS2L은 Coauthor-Physics에서 95.56%의 정확도를 기록했다.
• MVGRL은 Coauthor-Physics에서 95.33%의 정확도와 Amazon-Computers에서 93.21%의 정확도를 기록하여 다양한 데이터셋에서 뛰어난 성능을 보였다.
• SUGAR는 MUTAG에서 96.74%의 정확도를 기록하여 다른 방법들을 능가했으며, 이는 고급 생성적 및 대조적 설계의 잠재력을 입증한다.
• 이 검토는 사전과제 목표와 최종 작업 목표 사이에 지속적인 격차가 존재함을 밝혀내었으며, 이는 일반화 성능을 제한하고 향후 설계에서 더 나은 일치가 필요함을 시사한다.