[論文レビュー] Meta-Learning GNN Initializations for Low-Resource Molecular Property Prediction

Cuong Q. Nguyen, Constantine Kreatsoulas+1 more|arXiv (Cornell University)|Mar 12, 2020

Machine Learning in Materials Science参考文献 28被引用数 20

ひとこと要約

本稿では、MAMLおよびその変種（FO-MAML、ANIL）を用いたメタラーニングによるグラフニューラルネットワーク（GNN）初期化を提案し、リソースが限られた環境下での少サンプル分子性状予測を改善することを目的としている。ChEMBL20データセットで訓練されたメタ初期化は、マルチタスク事前学習ベースラインを上回り、16～256サンプルの全微調整セットサイズにおいて、分布内タスクで平均11.2%、分布外タスクで平均26.9%のAUPRC向上を達成した。

ABSTRACT

Building in silico models to predict chemical properties and activities is a crucial step in drug discovery. However, limited labeled data often hinders the application of deep learning in this setting. Meanwhile advances in meta-learning have enabled state-of-the-art performances in few-shot learning benchmarks, naturally prompting the question: Can meta-learning improve deep learning performance in low-resource drug discovery projects? In this work, we assess the transferability of graph neural networks initializations learned by the Model-Agnostic Meta-Learning (MAML) algorithm - and its variants FO-MAML and ANIL - for chemical properties and activities tasks. Using the ChEMBL20 dataset to emulate low-resource settings, our benchmark shows that meta-initializations perform comparably to or outperform multi-task pre-training baselines on 16 out of 20 in-distribution tasks and on all out-of-distribution tasks, providing an average improvement in AUPRC of 11.2% and 26.9% respectively. Finally, we observe that meta-initializations consistently result in the best performing models across fine-tuning sets with $k \in \{16, 32, 64, 128, 256\}$ instances.

研究の動機と目的

• 標榜データが限られる薬剤発見の文脈において、深層学習モデルが希少かつ偏りのあるデータセットのため性能を発揮できないという課題に対処すること。
• 従来のマルチタスク事前学習と比較して、メタラーニングされたGNN初期化が少サンプル分子性状予測を改善できるかどうかを調査すること。
• 微調整データ量が16～256サンプルの範囲で変動する状況下でも、メタ初期化のロバスト性および転送可能性を評価すること。
• 分布内および分布外の分子性状予測タスクの両方で性能を評価し、汎化能力を検証すること。

提案手法

• 新しい分子性状予測タスクに素早く適応できる初期GNNパラメータセットを学習するために、モデルに依存しないメタラーニング（MAML）を採用する。
• 計算コストを削減しながら性能を維持するため、1次近似MAML（FO-MAML）およびANIL（Almost-No-Inner-Loop）の変種を用いる。
• ChEMBL20の20の多様な分子性状タスクでメタ学習を実施し、内側のループと外側のループの最適化にタスク固有のサポートセットとクエリセットを用いる。
• Adamを用い、固定された1e-4の初期学習率と早期停止を適用して、各タスクあたり$k \in \{16, 32, 64, 128, 256\}$のラベル付きインスタンスでメタ初期化を微調整する。
• ホールドアウトされたテストセットにおけるAUPRCを用いて性能を評価し、5つのランダムシードと5つのデータ分割を用いた25回の反復平均を結果として提示する。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングされたGNN初期化は、マルチタスク事前学習ベースラインと比較して、リソースが限られた分子性状予測の性能を向上させることができるか？
• RQ2 微調整に非常に少ないデータ（特に$k \in \{16, 32, 64, 128, 256\}$インスタンス）を用いた場合、メタ初期化はどの程度効果的か？
• RQ3 メタ初期化は、データ分布のシフトが生じる分布外の分子性状予測タスクにも汎化可能か？
• RQ4 MAML、FO-MAML、ANILといった異なるメタラーニングの変種は、性能および訓練効率の観点でどのように比較できるか？

主な発見

• MAMLを用いて学習されたメタ初期化は、20の分布内分子性状予測タスクのうち16つでマルチタスク事前学習ベースラインを上回った。
• すべての3つの分布外タスクにおいて、メタ初期化はすべてのベースラインを一貫して上回り、強力な汎化能力を示した。
• MAMLは、分布内タスクで最良のベースラインを平均11.2%、分布外タスクで26.9%上回るAUPRC向上を達成した。
• MAMLは、微調整セットサイズが16～256の全範囲でトップパフォーマンスを維持し、分布内・分布外タスクの両方で16～256サンプルの全範囲で1位を維持した。
• FO-MAMLとANILは、訓練時間を短縮しながらも競争力のある性能を示したが、平均性能ではMAMLに劣った。
• Finetune-AllやFinetune-Topといったベースライン手法は、データ量の増加に伴い性能向上を示したが、すべての$k$値においてMAMLに劣ったことから、MAMLの優れたデータ効率が示された。