[논문 리뷰] Better with Less: A Data-Active Perspective on Pre-Training Graph Neural Networks

Jiarong Xu, Renhong Huang외 5명|PubMed|2023. 11. 02.

Advanced Graph Neural Networks참고 문헌 106인용 수 5

한 줄 요약

이 논문은 예측 불확실성과 그래프 성질을 기반으로 더 적고 정보량이 많은 그래프를 선택하여, 대규모 데이터에 의존하지 않고 GNN 사전학습의 효율성과 성능을 향상시키는 데이터 활성 그래프 사전학습(APT) 프레임워크를 제안한다. 이 방법은 반복적인 데이터 선택과 점진적 학습을 통해 모델을 지속적으로 개선하며, 훨씬 적은 학습 데이터로도 최신 기술 수준의 성능을 달성하고 빠른 수렴을 이룬다.

ABSTRACT

Pre-training on graph neural networks (GNNs) aims to learn transferable knowledge for downstream tasks with unlabeled data, and it has recently become an active research area. The success of graph pre-training models is often attributed to the massive amount of input data. In this paper, however, we identify the <i>curse of big data</i> phenomenon in graph pre-training: more training data do not necessarily lead to better downstream performance. Motivated by this observation, we propose a <i>better-with-less</i> framework for graph pre-training: fewer, but carefully chosen data are fed into a GNN model to enhance pre-training. The proposed pre-training pipeline is called the data-active graph pre-training (APT) framework, and is composed of a graph selector and a pre-training model. The graph selector chooses the most representative and instructive data points based on the inherent properties of graphs as well as <i>predictive uncertainty</i>. The proposed predictive uncertainty, as feedback from the pre-training model, measures the confidence level of the model in the data. When fed with the chosen data, on the other hand, the pre-training model grasps an initial understanding of the new, unseen data, and at the same time attempts to remember the knowledge learned from previous data. Therefore, the integration and interaction between these two components form a unified framework (APT), in which graph pre-training is performed in a progressive and iterative way. Experiment results show that the proposed APT is able to obtain an efficient pre-training model with fewer training data and better downstream performance.

연구 동기 및 목표

• 그래프 사전학습 데이터의 확장으로 인한 비효율성과 수익 감소 문제를 해결하고, 더 많은 데이터가 항상 성능 향상에 기여한다는 가정을 도전한다.
• 그래프 사전학습에서 '대규모 데이터의 저주'를 규명하여, 데이터 양이 증가한다고 해서 항상 더 나은 최종 성능을 보장하지는 않음을 밝힌다.
• 예측 불확실성에서 유도된 피드백을 통해 데이터 선택과 모델 학습이 상호로 발전하는 공진화 프레임워크를 개발한다.
• 대표성 있고 불확실한 샘플에 집중하여 효율적이고 효과적인 사전학습을 가능하게 하며, 성능을 희생시키지 않고 데이터 요구량을 줄인다.

제안 방법

• 현재 사전학습 모델의 예측 불확실성과 그래프의 내재적 성질(예: 구조적 복잡성 등)을 기반으로 훈련 그래프를 순위 매기는 그래프 선택기 도입.
• 예측 불확실성을 모델 출력에서 유도된 신뢰도 측정치로 정의하여, 모델이 가장 불확실한, 즉 학습에 가장 유용한 데이터 포인트를 식별한다.
• 가장 불확실하고 대표적인 그래프부터 먼저 학습하는 점진적 사전학습 파이프라인을 구현한다. 이 과정에서 모델 지식을 반복적으로 업데이트한다.
• 예측 불확실성의 피드백을 활용해 후속 데이터 배치의 선택을 유도함으로써, 데이터와 모델 간의 활성적 공진화를 가능하게 한다.
• 그래프 선택기와 사전학습 모델을 통합하여 데이터 선택과 모델 보정을 번갈아 수행하는 유일한 APT 프레임워크로 통합한다.
• 어려운 샘플(높은 불확실성)에 초점을 맞춘 손실 함수를 적용하여 수렴 속도를 가속화하고 표현 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 그래프 사전학습에서 훈련 데이터 볼륨을 늘리면 항상 최종 성능이 향상되는가?
• RQ2 더 작은, 철저히 선택된 그래프 세트가 더 크고 무분별한 데이터셋으로 사전학습된 모델보다 성능이 뛰어날 수 있는가?
• RQ3 예측 불확실성을 어떻게 활용해 그래프 사전학습에서 데이터 선택을 이끌 수 있는가?
• RQ4 학습 순서가 사전학습 효과성에 어떤 영향을 미치며, 활성 선택을 통해 최적화할 수 있는가?
• RQ5 데이터 활성적이고 반복적인 사전학습 프레임워크는 기존의 데이터 집약적 접근보다 더 나은 성능과 효율성을 달성할 수 있는가?

주요 결과

• APT 프레임워크는 노드 분류 및 그래프 분류 벤치마크에서 최신 기술 수준의 성능을 달성하여, GCC조차도 자체 실험 설정에서 이를 초월한다.
• 노드 분류 작업에서 APT(fine-tuned)는 US-Airport에서 70.50 F1, H-index에서 82.28 F1을 기록하여 각각 GCC의 67.2와 80.6을 상회한다.
• 그래프 분류 작업에서 APT(fine-tuned)는 IMDB-B에서 76.27 F1, COLLAB에서 81.23 F1을 기록하여 각각 GCC의 73.8과 81.1을 초월한다.
• 그래프 선택기로 유도된 학습 순서는 성능 향상에 크게 기여한다: APT의 선택된 순서는 브라질에서 69.82 F1을 기록한 반면, 무작위 순서는 67.25 F1이었다.
• 높은 불확실성(어려운) 샘플에서 학습하면 브라질에서 69.82 F1을 기록하지만, 쉬운 샘플에서 학습하면 성능이 56.34 F1로 떨어지며, 어려운 예제에 집중하는 것이 중요함을 입증한다.
• 사전학습 가중치를 통해 수렴 속도가 빨라져, GIN 모델을 처음부터 학습시키는 것에 비해 훈련 시간을 4.7배 빠르게 한다.