[논문 리뷰] GPT-GNN: Generative Pre-Training of Graph Neural Networks

Ziniu Hu, Yuxiao Dong외 3명|arXiv (Cornell University)|2020. 06. 27.

Advanced Graph Neural Networks참고 문헌 46인용 수 71

한 줄 요약

GPT-GNN은 라벨이 없는 대규모 그래프에서 속성 그래프 생성(속성)과 엣지 생성(구조)을 함께 모델링하여 GNN을 사전 학습한 후, 소량의 라벨로 다운스트림 작업을 미세 조정해 Open Academic Graph와 Amazon 데이터에서 주목할 만한 성과를 달성합니다.

ABSTRACT

Graph neural networks (GNNs) have been demonstrated to be powerful in modeling graph-structured data. However, training GNNs usually requires abundant task-specific labeled data, which is often arduously expensive to obtain. One effective way to reduce the labeling effort is to pre-train an expressive GNN model on unlabeled data with self-supervision and then transfer the learned model to downstream tasks with only a few labels. In this paper, we present the GPT-GNN framework to initialize GNNs by generative pre-training. GPT-GNN introduces a self-supervised attributed graph generation task to pre-train a GNN so that it can capture the structural and semantic properties of the graph. We factorize the likelihood of the graph generation into two components: 1) Attribute Generation and 2) Edge Generation. By modeling both components, GPT-GNN captures the inherent dependency between node attributes and graph structure during the generative process. Comprehensive experiments on the billion-scale Open Academic Graph and Amazon recommendation data demonstrate that GPT-GNN significantly outperforms state-of-the-art GNN models without pre-training by up to 9.1% across various downstream tasks.

연구 동기 및 목표

• 다운스트림 GNN 작업의 라벨링 필요성을 대규모 라벨 없는 그래프에서의 자기지도 사전 학습으로 줄인다.
• 노드 속성과 그래프 구조를 모두 모델링하여 그래프의 고유한 의미와 의존성을 포착한다.
• 수십억 규모의 그래프와 이질적 그래프에도 확장할 수 있는 효율적인 사전 학습 프레임워크를 제공한다.
• 실세계 데이터셋에서 시간 및 분야 설정 간의 사전 학습된 GNN의 전달 가능성을 입증한다.

제안 방법

• 그래프의 가능도(Likelihood)를 속성 생성(Attribute Generation)과 엣지 생성(Edge Generation)으로 분해하는 속성 그래프 생성 작업을 제안한다.
• 노드 속성과 엣지 간의 상호 작용을 포착하기 위해 의존성 인식 팩터라이제이션을 사용한다.
• 훈련 중 정보 누 leaks 방지를 위해 노드를 속성 생성 노드(Attribute Generation Nodes)와 엣지 생성 노드(Edge Generation Nodes)로 분할한다.
• 노드 순열에 대한 자기회귀 그래프 생성 목적을 채택하고 속성과 엣지를 분리된 디코딩 방식으로 해석한다.
• 마스킹된 속성을 예측하는 디코더와 후보 이웃에 대한 대조 디코더를 통해 엣지 생성 손실을 최적화한다.
• 대형 그래프를 위한 서브그래프 기반 학습이 가능하도록 해로운 샘플링 대용량 음수 샘플링을 제공하는 적응형 임베딩 큐를 활용한다.
• LADIES/HGSampling과 같은 서브그래프 샘플링과 전역 신호 보존을 위한 Adaptive Queue를 사용하여 이질적이고 매우 큰 그래프에 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 자기지도식 생성 사전 학습 objective가 라벨이 제한된 상태에서 다운스트림 GNN 성능을 향상시킬 수 있는가?
• RQ2 사전 학습 중 노드 속성과 그래프 구조 간의 커플링을 효과적으로 어떻게 모델링할 수 있는가?
• RQ3 GPT-GNN은 수십억 규모의 그래프에 확장 가능하고 이질적 그래프에 적용 가능한가?
• RQ4 시간 전이 및 분야 전이 설정이 학습된 표현의 보이지 않는 데이터로의 강건한 전달을 지원하는가?
• RQ5 다운스트림 이득에 속성 생성 구성 요소와 엣지 생성 구성 요소의 기여도는 어느 정도인가?

주요 결과

• GPT-GNN은 Open Academic Graph(OAG) 및 Amazon 데이터에서 라벨이 없는 상태의 최첨단 비사전 학습 모델 대비 평균적으로 최대 9.1%의 하향 보정 없이도 다운스트림 노드 분류 및 링크 예측 성능을 향상시킬 수 있다.
• 프레임워크는 서로 다른 기본 GNN과 다양한 전달 설정에서 일관되게 성능을 향상시킨다.
• 속성 생성과 엣지 생성 구성 요소 각각이 성능에 기여하며, 이 둘의 조합이 최상의 결과를 낳는다.
• 서브그래프 샘플링과 큐를 통한 적응적 음수 샘플링으로 대규모 이질적 그래프의 처리가 가능하도록 수십억 노드 그래프까지 확장한다.
• 대형 그래프(OAG 약 1.79억 노드, 20억 엣지; Amazon 약 1.13억 노드)에서의 사전 학습은 제한된 라벨로 다운스트림 작업에 대한 시간 전이 및 분야 전이를 효과적으로 가능하게 한다.