[論文レビュー] Better with Less: A Data-Active Perspective on Pre-Training Graph Neural Networks

Jiarong Xu, Renhong Huang+5 more|PubMed|Nov 2, 2023

Advanced Graph Neural Networks参考文献 106被引用数 5

ひとこと要約

本稿では、予測不確実性とグラフ特性に基づいてより情報量の多い少数のグラフを選択することで、大規模データに依存せずにGNNの事前学習の効率性と性能を向上させるデータアクティブなグラフ事前学習（APT）フレームワークを提案する。この手法は、反復的なデータ選択と段階的学習を通じてモデルを段階的に最適化し、大幅に削減された学習データと高速な収束を実現しながら、最先端の結果を達成する。

ABSTRACT

Pre-training on graph neural networks (GNNs) aims to learn transferable knowledge for downstream tasks with unlabeled data, and it has recently become an active research area. The success of graph pre-training models is often attributed to the massive amount of input data. In this paper, however, we identify the <i>curse of big data</i> phenomenon in graph pre-training: more training data do not necessarily lead to better downstream performance. Motivated by this observation, we propose a <i>better-with-less</i> framework for graph pre-training: fewer, but carefully chosen data are fed into a GNN model to enhance pre-training. The proposed pre-training pipeline is called the data-active graph pre-training (APT) framework, and is composed of a graph selector and a pre-training model. The graph selector chooses the most representative and instructive data points based on the inherent properties of graphs as well as <i>predictive uncertainty</i>. The proposed predictive uncertainty, as feedback from the pre-training model, measures the confidence level of the model in the data. When fed with the chosen data, on the other hand, the pre-training model grasps an initial understanding of the new, unseen data, and at the same time attempts to remember the knowledge learned from previous data. Therefore, the integration and interaction between these two components form a unified framework (APT), in which graph pre-training is performed in a progressive and iterative way. Experiment results show that the proposed APT is able to obtain an efficient pre-training model with fewer training data and better downstream performance.

研究の動機と目的

• グラフ事前学習のデータスケーリングにおける非効率性と収益逓減の問題に取り組み、より多くのデータが常に性能向上をもたらすという仮定に疑問を呈する。
• グラフ事前学習における「ビッグデータの呪い」を特定する。ここでは、データ量の増加が下流の性能向上を保証するわけではない。
• 予測不確実性からのフィードバックを通じて、データ選択とモデル学習が相互に改善する共進化フレームワークを構築する。
• 代表的で不確実なサンプルに注目することで、性能を損なわずデータ要件を削減する、効率的かつ効果的な事前学習を実現する。

提案手法

• 現在の事前学習モデルからの予測不確実性に加え、グラフ固有の特性（例：構造的複雑性）を基準に、訓練用グラフをランク付けするグラフセレクタを導入する。
• 予測不確実性を、モデル出力から導出される信頼度の指標として定義し、モデルが最も不確実である（学習に最も有用である）データポイントを特定する。
• モデルが最初に最も不確実で代表的なグラフから学習する段階的学習パイプラインを実装する。このプロセスにより、知識を反復的に更新する。
• 予測不確実性からのフィードバックを活用して、次のデータバッチの選択をガイドすることで、データとモデルのアクティブな共進化を実現する。
• グラフセレクタと事前学習モデルを統合したAPTフレームワークを構築し、データ選択とモデルのファインチューニングを交互に繰り返す。
• 困難なサンプル（高い不確実性）に重点を置く損失関数を適用し、収束を加速させるとともに表現品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 グラフ事前学習において、学習データ量を増やすことで下流の性能が常に向上するのか？
• RQ2 より小さな、洗練されたグラフのセットは、より大きな、無差別なデータセットで事前学習されたモデルを上回ることができるか？
• RQ3 予測不確実性は、グラフ事前学習におけるデータ選択をどのように支援できるか？
• RQ4 学習順序の影響は何か？ そして、アクティブな選択によって最適化可能か？
• RQ5 データアクティブで反復的な事前学習フレームワークは、従来のデータ集約型アプローチに比べ、より優れた性能と効率性を達成できるか？

主な発見

• APTフレームワークは、ノード分類およびグラフ分類のベンチマークで最先端の性能を達成し、GCCでさえも自らの実験設定下でこれを上回る。
• ノード分類タスクにおいて、APT（ファインチューニング済み）はUS-Airportで70.50 F1、H-indexで82.28 F1を達成し、それぞれGCCの67.2と80.6を上回る。
• グラフ分類タスクにおいて、APT（ファインチューニング済み）はIMDB-Bで76.27 F1、COLLABで81.23 F1を達成し、それぞれGCCの73.8と81.1を上回る。
• グラフセレクタがガイドする学習順序は顕著な性能向上をもたらす：APTの選択された順序ではブラジルで69.82 F1を達成したが、ランダム順では67.25 F1にとどまる。
• 高い不確実性（困難）なサンプルから学習するとブラジルで69.82 F1を達成するが、容易なサンプルから学習すると56.34 F1に低下する。これは困難な例に注目することが重要であることを示している。
• 事前学習重みのおかげで、GINモデルを完全から学習するのと比較して、APTは学習時間を4.7倍速くした。