[논문 리뷰] Strategies for Pre-training Graph Neural Networks

Weihua Hu, Bowen Liu외 5명|arXiv (Cornell University)|2019. 05. 29.

Advanced Graph Neural Networks참고 문헌 62인용 수 186

한 줄 요약

논문은 GNN에 대한 이중 레벨(pre-training) 전략— 노드-레벨 자기지도 과제와 그래프-레벨 감독 과제—를 결합하고 표현력이 풍부한 GNN(GIN)을 활용하여 out-of-distribution 일반화를 개선하고 negative transfer를 피하며 최첨단 결과를 달성한다.

ABSTRACT

Many applications of machine learning require a model to make accurate pre-dictions on test examples that are distributionally different from training ones, while task-specific labels are scarce during training. An effective approach to this challenge is to pre-train a model on related tasks where data is abundant, and then fine-tune it on a downstream task of interest. While pre-training has been effective in many language and vision domains, it remains an open question how to effectively use pre-training on graph datasets. In this paper, we develop a new strategy and self-supervised methods for pre-training Graph Neural Networks (GNNs). The key to the success of our strategy is to pre-train an expressive GNN at the level of individual nodes as well as entire graphs so that the GNN can learn useful local and global representations simultaneously. We systematically study pre-training on multiple graph classification datasets. We find that naive strategies, which pre-train GNNs at the level of either entire graphs or individual nodes, give limited improvement and can even lead to negative transfer on many downstream tasks. In contrast, our strategy avoids negative transfer and improves generalization significantly across downstream tasks, leading up to 9.4% absolute improvements in ROC-AUC over non-pre-trained models and achieving state-of-the-art performance for molecular property prediction and protein function prediction.

연구 동기 및 목표

• 그래프 데이터에서 특정 작업 라벨이 희박하고 분포 이동이 있는 상황에서 학습의 도전과제에 대응한다.
• 나이브한 사전 학습 전략이 다운스트림 그래프 작업에 도움을 주는지 해를 주는지 평가한다.
• 전이 가능성을 높이기 위해 노드-레벨과 그래프-레벨 사전 학습을 결합한 접근법을 개발한다.
• 분자 속성 예측과 단백질 기능 예측 전반에 걸쳐 효과를 입증한다.
• 그래프에서 대규모 사전 학습 연구를 가능하게 하는 데이터셋과 벤치마크를 제공한다.

제안 방법

• 노드-레벨 사전 학습을 Context Prediction과 Attribute Masking으로 개발하여 지역 도메인 지식을 포착한다.
• 그래프-레벨 사전 학습을 감독형 다중 작업 사전 학습으로 개발하여 전역 그래프-레벨 신호를 주입한다.
• Context Prediction을 위한 음수 샘플링과 함께 주된 GNN과 보조 Context GNN을 공동 최적화한다.
• 사전 학습의 혜택을 극대화하기 위해 표현력이 풍부한 Graph Isomorphism Network (GIN)을 백본으로 사용한다.
• 순서: 먼저 노드-레벨 자기지도, 그다음 그래프-레벨 감독 사전 학습, 마지막으로 엔드투엔드 미세 조정.
• 나이브한 그래프 전용 또는 노드 전용 사전 학습은 부정적 전이를 일으킬 수 있으며, 결합 접근법이 이를 완화한다.

실험 결과

연구 질문

• RQ1 사전 학습이 다운스트림 그래프 분류 및 기능 예측 작업의 성능을 향상시키는가?
• RQ2 노드-레벨과 그래프-레벨 사전 학습은 그래프에서 전이 학습에 있어 상호 보완적 이점을 제공하는가?
• RQ3 도메인 전반에서 순수한(그래프-레벨만 또는 노드-레벨만) 사전 학습이 유익한가 아니면 해로운가?
• RQ4 제안된 사전 학습 전략으로 어떤 GNN 아키텍처가 가장 많은 혜택을 받는가?

주요 결과

• 노드- 및 그래프-레벨 사전 학습의 결합 전략은 비사전 학습 모델에 비해 최대 9.4% 절대 ROC-AUC 이득을 제공한다.
• 사전 학습이 있는 GIN은 분자 속성 예측 및 단백질 기능 예측에서 최첨단 결과를 달성한다.
• 그래프-레벨 사전 학습만으로는 상당한 작업에서 부정적 전이를 야기할 수 있으며, 노드-레벨 사전 학습과의 결합으로 이를 피할 수 있다.
• 나이브한 광범위한 그래프-레벨 다중 작업 사전 학습은 한정된 이득을 주거나 여러 작업에서 다운스트림 성능을 해칠 수 있다.
• 사전 학습된 모델은 미세 조정 동안 비사전 학습 모델보다 수십 배 빠르게 수렴한다.