[논문 리뷰] Large-scale graph representation learning with very deep GNNs and self-supervision

Ravichandra Addanki, Peter Battaglia외 9명|arXiv (Cornell University)|2021. 07. 20.

Advanced Graph Neural Networks참고 문헌 60인용 수 14

한 줄 요약

이 논문은 매우 깊은 아키텍처(최대 50층)와 부트스트래핑 및 노이즈 제거 목적함수를 통한 자기지도 학습을 사용하여 대규모 그래프 표현 학습을 위한 매우 확장 가능한 그래프 신경망(GNN)을 제안한다. 이는 MAG240M 및 PCQM4M 벤치마크에서 상위 3위 성능을 기록하여 깊이 있는 GNN과 대규모에서의 자기지도 학습의 효과를 입증한다.

ABSTRACT

Effectively and efficiently deploying graph neural networks (GNNs) at scale remains one of the most challenging aspects of graph representation learning. Many powerful solutions have only ever been validated on comparatively small datasets, often with counter-intuitive outcomes -- a barrier which has been broken by the Open Graph Benchmark Large-Scale Challenge (OGB-LSC). We entered the OGB-LSC with two large-scale GNNs: a deep transductive node classifier powered by bootstrapping, and a very deep (up to 50-layer) inductive graph regressor regularised by denoising objectives. Our models achieved an award-level (top-3) performance on both the MAG240M and PCQM4M benchmarks. In doing so, we demonstrate evidence of scalable self-supervised graph representation learning, and utility of very deep GNNs -- both very important open issues. Our code is publicly available at: https://github.com/deepmind/deepmind-research/tree/master/ogb_lsc.

연구 동기 및 목표

• 매우 깊은 GNN(최대 50층)이 대규모 그래프 데이터셋에서 확장성과 성능을 어떻게 발휘하는지 조사하기 위해.
• 부트스트래핑 및 노이즈 제거와 같은 자기지도 학습 목적이 대규모 그래프 표현 학습에서 어떤 영향을 미치는지 평가하기 위해.
• 실제 대규모 그래프 벤치마크에서 표현력 있는 깊은 GNN이 얕거나 단순한 모델보다 우수한 성능을 내는지 확인하기 위해.
• BGRL 및 노이즈 노드와 같은 보조 학습 목적이 일반화 능력 향상과 깊이 확장성 향상에 얼마나 기여하는지 탐색하기 위해.
• 자기지도 학습이 거대한 그래프에서도 오버피팅 없이 더 오랜 기간 학습이 가능하게 하는지 검증하기 위해.

제안 방법

• 저자들은 MAG240M에 대해 부트스트래핑을 사용하여 미표기된 노드의 예측을 반복적으로 향상시키는 깊은 전도성 노드 분류기를 개발했다.
• PCQM4M에 대해서는 메시지 전달 GNN 아키텍처와 컨포머 기반 분자의 특징을 사용하여 50층의 인덕티브 그래프 회귀기를 훈련시켰다.
• BGRL(부트스트래핑 기반 GNN 표현 학습) 목적함수를 적용하여 시각 증강과 대비 학습을 통해 강건하고 불변의 표현을 유도했다.
• 노이즈 노드 정규화 기법을 사용하여 메시지 전달 중에 노드 특징에 노이즈를 주입함으로써 매우 깊은 GNN의 훈련을 안정화시켰다.
• 분포 이탈을 최소화하고 테스트 세트에서의 일반화 능력을 향상시키기 위해 모델 앙상블과 철저한 후처리를 사용했다.
• 모델들은 수십억 개의 간선과 수백만 개의 노드에서 훈련되었으며, 자기지도 학습 목적이 있는 비표기 데이터를 활용했다.

실험 결과

연구 질문

• RQ1 매우 깊은 GNN(최대 50층)이 얕은 모델보다 대규모 그래프 벤치마크에서 뛰어난 성능을 내는가?
• RQ2 특히 부트스트래핑 및 노이즈 제거를 통한 자기지도 학습이 거대한 그래프에서 일반화 능력과 훈련 안정성에 상당한 영향을 미치는가?
• RQ3 현대적인 대비 자기지도 학습 방법인 BGRL이 극도로 큰 그래프 환경에서 얼마나 효과적인가?
• RQ4 노이즈 노드와 같은 보조 목적이 깊이 증가에 따라 성능 향상이 일관되게 이루어지도록 하는 데 얼마나 기여하는가?
• RQ5 자기지도 학습이 거대한 데이터셋에서 오버피팅 없이 더 오랜 기간 학습이 가능하게 하는가?

주요 결과

• 최종 모델은 MAG240M에서 테스트 정확도 75.19%를 기록하여 OGB-LSC 벤치마크에서 상위 3위를 차지했다.
• PCQM4M에서는 테스트 MAE 0.1205를 기록하여 동일하게 상위 3위에 진입했다.
• 비표기된 노드를 활용한 자기지도 학습은 더 많은 비표기 데이터가 포함될수록 일관되고 단조로운 성능 향상을 이끌었다.
• 자기지도 학습의 정규화 효과 덕분에 오버피팅 없이 10배 더 오랜 기간 훈련이 가능했다.
• 노이즈 노드 정규화 기법은 깊이 증가에 따른 단조로운 성능 향상에 필수적이었으며, 이를 제거하면 훨씬 얕은 모델 수준의 성능으로 떨어졌다.
• 1,024개의 은닉 차원을 가진 넓은 메시지 함수가 더 큰 잠재 차원(256)을 가진 모델보다 우수한 성능을 보였으며, 이는 대규모에서의 아키텍처 초모수 민감도를 시사한다.