[論文レビュー] Making Graph Neural Networks Worth It for Low-Data Molecular Machine Learning

Aneesh Pappu, Brooks Paige|arXiv (Cornell University)|Nov 24, 2020

Machine Learning in Materials Science参考文献 21被引用数 12

ひとこと要約

この論文は、MAML や FO-MAML などのメタラーニング手法を用いることで、グラフニューラルネットワーク（GNNs）が低データ分子機械学習において従来のフィンガープrint手法を上回ることを示している。著者らは、標準的な GNN は小データ環境で性能を発揮できないが、MAML に基づく適応により、特に分布外タスクにおいて顕著な性能向上が得られることを示している。一方、ANIL はタスク固有の適応が不十分であり、分布シフトの影響を受けるため失敗する。

ABSTRACT

Graph neural networks have become very popular for machine learning on molecules due to the expressive power of their learnt representations. However, molecular machine learning is a classically low-data regime and it isn't clear that graph neural networks can avoid overfitting in low-resource settings. In contrast, fingerprint methods are the traditional standard for low-data environments due to their reduced number of parameters and manually engineered features. In this work, we investigate whether graph neural networks are competitive in small data settings compared to the parametrically 'cheaper' alternative of fingerprint methods. When we find that they are not, we explore pretraining and the meta-learning method MAML (and variants FO-MAML and ANIL) for improving graph neural network performance by transfer learning from related tasks. We find that MAML and FO-MAML do enable the graph neural network to outperform models based on fingerprints, providing a path to using graph neural networks even in settings with severely restricted data availability. In contrast to previous work, we find ANIL performs worse that other meta-learning approaches in this molecule setting. Our results suggest two reasons: molecular machine learning tasks may require significant task-specific adaptation, and distribution shifts in test tasks relative to train tasks may contribute to worse ANIL performance.

研究の動機と目的

• グラフニューラルネットワーク（GNNs）が低データ分子機械学習環境において従来のフィンガープリント手法を上回るかどうかを評価すること。
• 過学習が深刻な懸念となる小データ環境における標準的 GNN の限界を調査すること。
• MAML や FO-MAML、ANIL などの事前学習およびメタラーニング手法が、トランスファーラーニングを通じて GNN の性能を向上させることを調査すること。
• 他の少サンプル学習タスクでは成功しているにもかかわらず、分子特性予測において ANIL がなぜ性能を発揮できないかを理解すること。
• CCA を用いて層の特徴表現の類似度を測定することで、分子 GNN における内部ループの適応と特徴再利用の役割を分析すること。

提案手法

• 著者らは、ChEMBL20 データセット上で、メッセージパッシング型 GNN である Chemprop と ECFP4 フィンガープリントベースのモデルを、さまざまなデータ閾値で比較した。
• MAML および FO-MAML を用いてメタラーニングを実施し、少数のサンプルで新しい分子タスクに迅速に適応できるモデル初期化を最適化した。
• ANIL をベースラインのメタラーニング手法として採用し、GNN ボディを固定したまま最終分類ヘッドのみを更新した。
• 特徴再利用の評価には、内部ループの適応前後における層表現の類似度を測定するための標準的相関分析（CCA）を用いた。
• 分布内および分布外の分子タスクに対して実験を行い、分布シフト下での一般化性能を評価した。
• 複数の分子特性予測タスクにおいて、5分割交差検証を用い、AUROC および AUPRC を用いて性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 グラフニューラルネットワークは、低データ分子機械学習においてフィンガープリントベースのモデルを上回ることができるか？
• RQ2 MAML や FO-MAML を用いたメタラーニングは、標準的な GNN が過学習を起こす小データ環境で GNN の性能を向上させるか？
• RQ3 なぜ ANIL は分子特性予測において MAML や FO-MAML よりも性能が悪いのか？
• RQ4 分子 GNN における効果的な少サンプル学習において、内部ループの適応はどの程度必要か？
• RQ5 メタトレーニングとテストタスクの間で分布シフトが生じた場合、ANIL のようなメタラーニング手法の性能にどのような影響を与えるか？

主な発見

• MAML および FO-MAML は GNN の性能を顕著に向上させ、フィンガープリントベースラインおよび事前学習の両方を上回った。
• 1024 サンプル未満のデータ閾値では Chemprop（GNN）は ECFP4 フィンガープリントベースラインを下回るが、1024 サンプルを超えるとそれを上回る。
• ANIL は MAML や FO-MAML よりも性能が悪く、分布外タスクにおける平均 AUPRC は 0.483 であり、FO-MAML の 0.593 よりも低い。
• CCA 分析により、GNN の層表現および最初の全結合層の表現が内部ループの適応後に顕著に変化していることが判明し、特徴再利用が限定的であることが示された。
• ANIL の劣悪な性能は、タスク固有の適応が不十分であることと、テストタスクにおける分布シフトに起因する負のトランスファーの影響によるものである。
• MAML および FO-MAML は全タスクで平均順位 1.43 を達成し、最高の性能を示した。一方 ANIL は平均順位 2.37 で最悪であり、本分子設定では有効でないことが確認された。