[논문 리뷰] Self-Supervised Learning of Graph Neural Networks: A Unified Review

Yaochen Xie, Xu Zhao외 3명|arXiv (Cornell University)|2021. 02. 22.

Advanced Graph Neural Networks인용 수 37

한 줄 요약

포괄적 고찰은 contrastive 및 predictive self-supervised learning (SSL) 방법을 그래프 신경망(GNNs)에 대해 통합하고, 비교를 위한 표준 테스트베드와 프레임워크를 제공한다.

ABSTRACT

Deep models trained in supervised mode have achieved remarkable success on a variety of tasks. When labeled samples are limited, self-supervised learning (SSL) is emerging as a new paradigm for making use of large amounts of unlabeled samples. SSL has achieved promising performance on natural language and image learning tasks. Recently, there is a trend to extend such success to graph data using graph neural networks (GNNs). In this survey, we provide a unified review of different ways of training GNNs using SSL. Specifically, we categorize SSL methods into contrastive and predictive models. In either category, we provide a unified framework for methods as well as how these methods differ in each component under the framework. Our unified treatment of SSL methods for GNNs sheds light on the similarities and differences of various methods, setting the stage for developing new methods and algorithms. We also summarize different SSL settings and the corresponding datasets used in each setting. To facilitate methodological development and empirical comparison, we develop a standardized testbed for SSL in GNNs, including implementations of common baseline methods, datasets, and evaluation metrics.

연구 동기 및 목표

• 그래프에 대한 SSL 방법을 contrastive와 predictive 접근 방식으로 조사하고 분류한다.
• 그래프 SSL 방법의 구성 요소(views, encoders, objectives)를 비교하기 위한 통합 프레임워크를 제공한다.
• 그래프 작업에서 사용되는 SSL 설정과 데이터셋을 요약한다.
• 경험적 비교를 위한 기준선(baselines), 데이터셋, 지표를 갖춘 표준화된 테스트베드를 제공한다.

제안 방법

• 두 가지 주요 분기로 구성된 그래프 SSL에 대한 통합 프레임워크를 정의한다: contrastive 학습과 predictive 학습.
• contrastive 방법이 어떻게 여러 그래프 뷰를 생성하고 상호 정보 추정기를 목표로 사용하는지 설명한다.
• 그래프 SSL에서 사용되는 일반적인 MI 추정기(DV, JS, InfoNCE)와 투영(heads)을 포함하여 제시한다.
• 그래프 재구성, 속성 예측, 자기훈련(self-training), 불변성 규제(invariance regularization) 등을 포함한 predictive SSL 방법을 상세히 다룬다.
• 이종 및 동적 그래프에 대한 확장과 더 깊은 분류를 담은 부록을 제공한다.
• 재현 가능한 연구를 위한 기준선, 데이터셋, 평가 지표를 구현한 표준화된 테스트베드를 개발하고 배포한다.

실험 결과

연구 질문

• RQ1 contrastive SSL을 그래프에서 상호 정보 극대화로 어떻게 통합할 수 있는가?
• RQ2 그래프 대비 학습에서 뷰 생성 및 인코더 설계의 역할은 무엇인가?
• RQ3 예측적 SSL 방법은 어떻게 자기감독 라벨을 생성하고 어떤 특성을 포착하는가?
• RQ4 그래프에서 SSL에 일반적으로 사용되는 데이터셋과 설정은 무엇이며, 표준화된 테스트베드는 비교를 어떻게 돕는가?
• RQ5 SSL 방법은 이종 또는 동적 그래프에 어떻게 확장되는가?

주요 결과

• 그래프 대비 학습에 대한 통일된 시각을 상호 정보에 기반하여 제시한다.
• 라벨 생성 방식(재구성, 속성 예측, 자기훈련, 불변성)에 따라 예측적 SSL 방법을 분류한다.
• DGI, MVGRL, GraphCL, GRACE, GCC, GMI, BGRL과 같은 주요 방법들에서 뷰 생성 전략, 인코더, 목표를 비교한다.
• MI 추정기(DV, JS, InfoNCE)와 성능 향상에 기여하는 투영 헤드의 역할을 논의한다.
• 그래프 작업에서 사용되는 SSL 설정과 데이터셋의 요약을 제공하고 벤치마킹을 위한 표준화된 오픈 소스 테스트베드를 소개한다.