[論文レビュー] Pre-training Graph Neural Networks.

Weihua Hu, Bowen Liu+5 more|arXiv (Cornell University)|May 29, 2019

Computational Drug Discovery Methods被引用数 33

ひとこと要約

本稿では、低データおよび分布外設定における一般化性能の向上を目的として、ラベルなしおよびラベルあり補助データを用いてノードレベルとグラフレベルの両方の事前学習を組み合わせる二段階の事前学習フレームワークを提案する。この手法は、分子性質予測およびタンパク質機能予測において顕著な性能向上を達成し、複数のベンチマークにおいて平均で7.2%および11.7%のAUC-ROC向上を実現した。

ABSTRACT

Many applications of machine learning in science and medicine, including molecular property and protein function prediction, can be cast as problems of predicting some properties of graphs, where having good graph representations is critical. However, two key challenges in these domains are (1) extreme scarcity of labeled data due to expensive lab experiments, and (2) needing to extrapolate to test graphs that are structurally different from those seen during training. In this paper, we explore pre-training to address both of these challenges. In particular, working with Graph Neural Networks (GNNs) for representation learning of graphs, we wish to obtain node representations that (1) capture similarity of nodes' network neighborhood structure, (2) can be composed to give accurate graph-level representations, and (3) capture domain-knowledge. To achieve these goals, we propose a series of methods to pre-train GNNs at both the node-level and the graph-level, using both unlabeled data and labeled data from related auxiliary supervised tasks. We perform extensive evaluation on two applications, molecular property and protein function prediction. We observe that performing only graph-level supervised pre-training often leads to marginal performance gain or even can worsen the performance compared to non-pre-trained models. On the other hand, effectively combining both node- and graph-level pre-training techniques significantly improves generalization to out-of-distribution graphs, consistently outperforming non-pre-trained GNNs across 8 datasets in molecular property prediction (resp. 40 tasks in protein function prediction), with the average ROC-AUC improvement of 7.2% (resp. 11.7%).

研究の動機と目的

• 科学的・医療的グラフ学習応用における極端なラベル不足の課題に対処すること。
• トレーニングデータとは構造的に異なる分布外のグラフへの一般化を向上させること。
• 構造的類似性、構成的グラフ表現、ドメイン知識を捉える事前学習戦略を開発すること。
• グラフレベルの事前学習のみでは、しばしば性能向上が得られず、場合によっては性能が低下するという限界を克服すること。

提案手法

• 隣接構造の類似性を捉える自己教師的目的を用いて、ノードレベルでGNNを事前学習する。
• 関連する補助タスクからのラベル付きデータを用いて、グラフレベルでGNNを事前学習することで、グラフレベルの表現学習を向上させる。
• ラベルなしデータとラベル付きデータの両方からの補完的信号を活用するため、ノードレベルとグラフレベルの両方の事前学習を統合する。
• ノードレベルでコントラスト学習の目的関数を用いて、類似した構造的近傍を持つノードが類似した表現を持つように促進する。
• 関連タスクからのグラフレベルの教師あり信号を活用して、グローバルなグラフ表現の学習をガイドする。
• 下流のリソースが限られた予測タスクで、事前学習済みGNNを微調整し、一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ノードレベルの事前学習は、リソースが限られたグラフ学習状況におけるGNNの一般化性能を向上させ得るか？
• RQ2 グラフレベルの事前学習のみでは、一貫した性能向上が得られるか、あるいは性能が低下する可能性があるか？
• RQ3 ノードレベルとグラフレベルの両方の事前学習を組み合わせることで、分布外のグラフへの一般化性能にどのような影響を与えるか？
• RQ4 関連タスクからの補助ラベル付きデータは、分子およびタンパク質機能予測の下流タスク性能をどの程度向上させ得るか？
• RQ5 事前学習は、科学的グラフ応用においてドメイン知識と構造的類似性を効果的に捉えることができるか？

主な発見

• グラフレベルの教師あり事前学習のみでは、非事前学習モデルと比較して、しばしば微増にとどまり、場合によっては性能が低下する傾向がある。
• ノードレベルとグラフレベルの両方の事前学習を組み合わせることで、8つの分子性質予測データセットにおいて一貫した一般化性能の向上が得られた。
• 組み合わせた事前学習アプローチは、分子性質予測タスクにおいて平均で7.2%のAUC-ROC向上を達成した。
• タンパク質機能予測においては、40のタスクにおいて平均で11.7%のAUC-ROC向上を達成した。
• 特にデータが限られた条件下では、非事前学習GNNと比較して、本手法は分布外一般化性能において顕著に優れた性能を示した。
• ノードレベルとグラフレベルの信号を同時に最適化することで、事前学習の有効性が最大限に発揮された。