[論文レビュー] Strategies for Pre-training Graph Neural Networks

Weihua Hu, Bowen Liu+5 more|arXiv (Cornell University)|May 29, 2019

Advanced Graph Neural Networks参考文献 62被引用数 186

ひとこと要約

本論文は、GNNに対してノードレベルの自己教師付きタスクとグラフレベルの教師付きタスクの二層構造の事前学習戦略を導入し、表現力のあるGNN（GIN）と組み合わせることで、分布外一般化を改善し最先端の結果を達成するとともに、ネガティブ転移を回避する。

ABSTRACT

Many applications of machine learning require a model to make accurate pre-dictions on test examples that are distributionally different from training ones, while task-specific labels are scarce during training. An effective approach to this challenge is to pre-train a model on related tasks where data is abundant, and then fine-tune it on a downstream task of interest. While pre-training has been effective in many language and vision domains, it remains an open question how to effectively use pre-training on graph datasets. In this paper, we develop a new strategy and self-supervised methods for pre-training Graph Neural Networks (GNNs). The key to the success of our strategy is to pre-train an expressive GNN at the level of individual nodes as well as entire graphs so that the GNN can learn useful local and global representations simultaneously. We systematically study pre-training on multiple graph classification datasets. We find that naive strategies, which pre-train GNNs at the level of either entire graphs or individual nodes, give limited improvement and can even lead to negative transfer on many downstream tasks. In contrast, our strategy avoids negative transfer and improves generalization significantly across downstream tasks, leading up to 9.4% absolute improvements in ROC-AUC over non-pre-trained models and achieving state-of-the-art performance for molecular property prediction and protein function prediction.

研究の動機と目的

• タスク特異ラベルが乏しく、分布シフトが生じるグラフデータの学習課題に対処する。
• 素朴な事前学習戦略が下流のグラフタスクに有益か害になるかを評価する。
• 転移性を向上させるために、ノードレベルとグラフレベルの組み合わせ事前学習アプローチを開発する。
• 分子性質予測とタンパク質機能予測の両方で有効性を示す。
• グラフに対する大規模事前学習研究を可能にするデータセットとベンチマークを提供する。

提案手法

• Context PredictionとAttribute Maskingを用いたノードレベルの事前学習を開発し、ローカルなドメイン固有知識を捉える。
• グラフレベルの事前学習を、グローバルなグラフレベルシグナルを注入するための教師ありマルチタスク事前学習として開発する。
• Context Predictionのためのネガティブサンプリングを用いて、メインのGNNと補助的なContext GNNを同時に最適化する。
• 事前学習の効果を最大化するため、表現力のあるGraph Isomorphism Network (GIN)をバックボーンとして用いる。
• 順序: まずノードレベルの自己監督、次にグラフレベルの教師あり事前学習、続いてエンドツーエンドのファインチューニング。
• 素朴なグラフ単独またはノード単独の事前学習がネガティブ転移を引き起こす可能性を示し、組み合わせアプローチがこれを緩和する。

実験結果

リサーチクエスチョン

• RQ1 GNNの事前学習は下流のグラフ分類および機能予測タスクの性能を向上させるか？
• RQ2 ノードレベルとグラフレベルの事前学習はグラフへの転移学習に補完的な利点をもたらすか？
• RQ3 素朴な事前学習（グラフレベルのみまたはノードレベルのみ）はドメインを横断して有益か有害か？
• RQ4 提案された事前学習戦略の恩恵を最も受けるGNNアーキテクチャはどれか？

主な発見

• ノードレベルとグラフレベルの組み合わせ事前学習戦略は、非事前学習モデルに比べて最大で絶対値9.4%のROC-AUC向上をもたらす。
• GINは事前学習を伴い分子性質予測とタンパク質機能予測で最先端の結果を達成する。
• グラフレベルのみの事前学習は多数のタスクでネガティブ転移を引き起こす可能性があるが、ノードレベルの事前学習と組み合わせることで回避できる。
• 素朴な広範なグラフレベル多タスク事前学習は限られた改善しかもたらさず、いくつかのタスクで下流の性能を低下させる可能性がある。
• 事前学習済みモデルはファインチューニング時に非事前学習モデルより何桁も高速で収束する。