[논문 리뷰] Self-supervised Learning on Graphs: Deep Insights and New Direction

Wei Jin, Tyler Derr외 5명|arXiv (Cornell University)|2020. 06. 17.

Advanced Graph Neural Networks참고 문헌 32인용 수 111

한 줄 요약

이 논문은 다양한 자기지도 학습 SSL 작업이 노드 분류를 위한 GNN에 어떤 영향을 미치는지 분석하고, 공동 학습(joint)과 2단계 학습(two-stage)을 비교하며, 고급 예전 pretext task로 이어지는 통찰(SelfTask)을 제안합니다.

ABSTRACT

The success of deep learning notoriously requires larger amounts of costly annotated data. This has led to the development of self-supervised learning (SSL) that aims to alleviate this limitation by creating domain specific pretext tasks on unlabeled data. Simultaneously, there are increasing interests in generalizing deep learning to the graph domain in the form of graph neural networks (GNNs). GNNs can naturally utilize unlabeled nodes through the simple neighborhood aggregation that is unable to thoroughly make use of unlabeled nodes. Thus, we seek to harness SSL for GNNs to fully exploit the unlabeled data. Different from data instances in the image and text domains, nodes in graphs present unique structure information and they are inherently linked indicating not independent and identically distributed (or i.i.d.). Such complexity is a double-edged sword for SSL on graphs. On the one hand, it determines that it is challenging to adopt solutions from the image and text domains to graphs and dedicated efforts are desired. On the other hand, it provides rich information that enables us to build SSL from a variety of perspectives. Thus, in this paper, we first deepen our understandings on when, why, and which strategies of SSL work with GNNs by empirically studying numerous basic SSL pretext tasks on graphs. Inspired by deep insights from the empirical studies, we propose a new direction SelfTask to build advanced pretext tasks that are able to achieve state-of-the-art performance on various real-world datasets. The specific experimental settings to reproduce our results can be found in \url{https://github.com/ChandlerBang/SelfTask-GNN}.

연구 동기 및 목표

• 노드 분류에서 GNN에 어떤 SSL 전략이 언제 왜 효과적인지 이해한다.
• 그래프 구조 및 노드 속성을 기반으로 한 기본 SSL 프리텍스트 작업을 체계적으로 비교한다.
• SSL을 GNN에 통합하기 위한 훈련 전략(joint vs. two-stage)을 조사한다.
• 고급 프리텍스트 작업 설계(SelfTask)에 영감을 주는 통찰을 제안한다.

제안 방법

• 그래프 SSL 문제를 정의하고 구조(A)와 속성(X)를 사용한 기본 프리텍스트 작업을 제시한다.
• 지역/전역 구조 기반 SSL 작업 평가: NodeProperty, EdgeMask, PairwiseDistance, Distance2Clusters.
• 속성 기반 SSL 작업 평가: AttributeMask, PairwiseAttrSim.
• L.self와 L.task를 결합하기 위한 공동 학습 및 2단계 학습 아키텍처를 연구한다.
• GCN 변형을 사용하여 Cora, Citeseer, Pubmed에서 경험적으로 분석한다.
• 어떤 SSL 작업과 훈련 전략이 개선을 가져오는지에 대한 실증적 지침을 제공한다.

실험 결과

연구 질문

• RQ1 그래프에서 어떤 SSL 프리텍스트 작업이 GNN으로 노드 분류를 가장 개선하는가?
• RQ2 지역적 대 전역 구조 및 속성 기반 SSL 작업의 효과는 어떻게 비교되는가?
• RQ3 어떤 훈련 패러다임(joint 대 two-stage)이 SSL과 GNN의 통합에 가장 적합한가?
• RQ4 새로운 작업 설계 원칙(자기지도 통찰)이 그래프에 더 효과적인 SSL을 이끌 수 있는가?

주요 결과

모델	공동 학습 - Cora	공동 학습 - Citeseer	공동 학습 - Pubmed	2단계 학습 - Cora	2단계 학습 - Citeseer	2단계 학습 - Pubmed
GCN	81.32	71.53	79.28	81.32	71.53	79.28
GCN-DroppedGraph	81.03	71.29	79.28	81.03	71.29	79.26
GCN-PCA	81.74	70.38	78.83	81.74	70.38	78.83
NodeProperty	81.94	71.60	79.44	81.59	71.69	79.24
EdgeMask	81.69	71.51	78.90	81.44	71.57	79.33
PairwiseNodeDistance	83.11	71.90	80.05	82.39	72.02	79.57
Distance2Cluster	83.55	71.44	79.88	81.80	71.55	79.51
AttributeMask	81.47	70.57	78.88	81.31	70.40	78.72
PairwiseAttrSim	83.05	71.67	79.45	81.57	71.74	79.42

• 전역 구조 기반 SSL 작업(예: PairwiseDistance, Distance2Clusters)은 데이터셋 전반에 걸쳐 정확도를 일관되게 향상시킨다.
• 일부 지역적 작업(NodeProperty, EdgeMask, AttributeMask)은 전역/쌍방식 방법에 비해 이익이 제한적이다.
• 공동 학습은 일반적으로 두 단계 학습보다 우수하고 조정이 더 간단하다.
• 2단계 학습은 강력한 결과를 낼 수 있지만 민감하고 종종 더 많은 조정이 필요하다.
• SSL-활성화 GNN이 Cora, Citeseer, Pubmed에서 여러 프리텍스트 작업으로 일반 GCN을 능가한다.
• Distance-to-cluster 및 쌍속성/유사도 작업은 상당한 이득을 제공한다(일부 경우 여러 퍼센트 포인트까지).