[论文解读] Better with Less: A Data-Active Perspective on Pre-Training Graph Neural Networks

Jiarong Xu, Renhong Huang+5 more|PubMed|Nov 2, 2023

Advanced Graph Neural Networks参考文献 106被引用 5

一句话总结

本文提出了一种数据主动的图预训练（APT）框架，通过基于预测不确定性与图属性选择更少但更具信息量的图，而非依赖大规模数据，从而提升图神经网络（GNN）预训练的效率与性能。该方法通过主动数据选择与渐进式学习的迭代方式不断优化模型，在显著减少训练数据量的同时实现更快的收敛速度，并取得当前最优的结果。

ABSTRACT

Pre-training on graph neural networks (GNNs) aims to learn transferable knowledge for downstream tasks with unlabeled data, and it has recently become an active research area. The success of graph pre-training models is often attributed to the massive amount of input data. In this paper, however, we identify the <i>curse of big data</i> phenomenon in graph pre-training: more training data do not necessarily lead to better downstream performance. Motivated by this observation, we propose a <i>better-with-less</i> framework for graph pre-training: fewer, but carefully chosen data are fed into a GNN model to enhance pre-training. The proposed pre-training pipeline is called the data-active graph pre-training (APT) framework, and is composed of a graph selector and a pre-training model. The graph selector chooses the most representative and instructive data points based on the inherent properties of graphs as well as <i>predictive uncertainty</i>. The proposed predictive uncertainty, as feedback from the pre-training model, measures the confidence level of the model in the data. When fed with the chosen data, on the other hand, the pre-training model grasps an initial understanding of the new, unseen data, and at the same time attempts to remember the knowledge learned from previous data. Therefore, the integration and interaction between these two components form a unified framework (APT), in which graph pre-training is performed in a progressive and iterative way. Experiment results show that the proposed APT is able to obtain an efficient pre-training model with fewer training data and better downstream performance.

研究动机与目标

• 解决图预训练数据规模扩大带来的效率低下与收益递减问题，挑战‘数据越多越好’的假设。
• 揭示图预训练中的‘大数据诅咒’现象，即数据量增加并不一定带来下游性能的提升。
• 构建一种协同演化的框架，通过预测不确定性的反馈，使数据选择与模型训练相互促进、逐步优化。
• 通过聚焦具有代表性且不确定性的样本，实现高效、有效的预训练，减少数据需求量而不损失性能。

提出的方法

• 提出一种图选择器，根据两个标准对训练图进行排序：图的固有属性（如结构复杂度）以及当前预训练模型的预测不确定性。
• 将预测不确定性定义为模型输出的置信度度量，识别出模型最不确信的样本点，这些样本点对学习最具信息量。
• 实施一种渐进式预训练流程，模型优先从最不确定且最具代表性的图开始学习，并通过迭代方式逐步更新知识。
• 利用预测不确定性的反馈指导后续数据批次的选择，实现数据与模型之间的主动协同演化。
• 将图选择器与预训练模型整合为统一的 APT 框架，交替执行数据选择与模型微调。
• 采用强调困难样本（高不确定性）的损失函数，加速收敛并提升表征质量。

实验结果

研究问题

• RQ1 在图预训练中，增加训练数据量是否总是能提升下游性能？
• RQ2 一个更小但精心挑选的图集合能否超越在更大、无差别数据集上预训练的模型？
• RQ3 如何利用预测不确定性来指导图预训练中的数据选择？
• RQ4 学习顺序对预训练效果有何影响？能否通过主动选择实现优化？
• RQ5 相较于标准的数据密集型方法，数据主动的迭代式预训练框架能否实现更优的性能与效率？

主要发现

• APT 框架在节点分类与图分类基准上均达到当前最优性能，即使在 GCC 自身的实验设置下也优于 GCC。
• 在节点分类任务中，APT（微调后）在 US-Airport 上取得 70.50 的 F1 分数，在 H-index 上取得 82.28 的 F1 分数，分别超过 GCC 的 67.2 和 80.6。
• 在图分类任务中，APT（微调后）在 IMDB-B 上取得 76.27 的 F1 分数，在 COLLAB 上取得 81.23 的 F1 分数，分别超过 GCC 的 73.8 和 81.1。
• 由图选择器引导的学习顺序显著提升性能：APT 的选择顺序在 Brazil 数据集上达到 69.82 的 F1 分数，而随机顺序仅为 67.25。
• 从高不确定性（困难）样本中学习在 Brazil 上取得 69.82 的 F1 分数，而从简单样本中学习则下降至 56.34 的 F1 分数，证明聚焦于困难样本的重要性。
• 由于借助预训练权重实现更快收敛，APT 在训练时间上相比从零开始训练 GIN 模型实现了 4.7 倍的加速。