[논문 리뷰] Meta-Learning GNN Initializations for Low-Resource Molecular Property Prediction

Cuong Q. Nguyen, Constantine Kreatsoulas외 1명|arXiv (Cornell University)|2020. 03. 12.

Machine Learning in Materials Science참고 문헌 28인용 수 20

한 줄 요약

이 논문은 MAML 및 그 변종(FO-MAML, ANIL)을 통해 메타학습된 그래프 신경망(GNN) 초기화를 사용하여 자원이 제한된 환경에서 소수의 샘플로도 분자의 성질을 예측하는 성능을 향상시키는 것을 제안한다. ChEMBL20 데이터셋에서 훈련된 메타초기화는 다중작업 미리훈련 기반 모델보다 우수한 성능을 보이며, 16에서 256개의 샘플까지의 모든 피니팅 세트 크기에서 분포 내 작업과 분포 외 작업에서 평균적으로 AUPRC가 각각 11.2%와 26.9% 향상되었다.

ABSTRACT

Building in silico models to predict chemical properties and activities is a crucial step in drug discovery. However, limited labeled data often hinders the application of deep learning in this setting. Meanwhile advances in meta-learning have enabled state-of-the-art performances in few-shot learning benchmarks, naturally prompting the question: Can meta-learning improve deep learning performance in low-resource drug discovery projects? In this work, we assess the transferability of graph neural networks initializations learned by the Model-Agnostic Meta-Learning (MAML) algorithm - and its variants FO-MAML and ANIL - for chemical properties and activities tasks. Using the ChEMBL20 dataset to emulate low-resource settings, our benchmark shows that meta-initializations perform comparably to or outperform multi-task pre-training baselines on 16 out of 20 in-distribution tasks and on all out-of-distribution tasks, providing an average improvement in AUPRC of 11.2% and 26.9% respectively. Finally, we observe that meta-initializations consistently result in the best performing models across fine-tuning sets with $k \in \{16, 32, 64, 128, 256\}$ instances.

연구 동기 및 목표

• 깊은 학습 모델이 희소하고 편향된 데이터셋으로 인해 성능이 떨어지는 약물 발굴에서 레이블이 부족한 데이터 문제를 해결한다.
• 기존의 다중작업 미리훈련과 비교해 메타학습된 GNN 초기화가 소수의 샘플로도 분자의 성질 예측 성능을 향상시킬 수 있는지 조사한다.
• 16에서 256개의 샘플까지 다양한 양의 피니팅 데이터에서 메타초기화의 강건성과 이식 가능성(transferability)을 평가한다.
• 분포 내 및 분포 외 분자의 성질 예측 작업에서의 성능을 평가하여 일반화 능력을 시험한다.

제안 방법

• 새로운 분자의 성질 예측 작업에 신속하게 적응할 수 있는 초기 GNN 파라미터 집합을 학습하기 위해 모델에 종속되지 않는 메타학습(MAML)을 사용한다.
• 계산 비용을 줄이면서도 성능을 유지하기 위해 일阶 MAML(FO-MAML) 및 ANIL(거의 내부 루프가 없는) 변종을 사용한다.
• ChEMBL20에서 유래한 20개의 다양한 분자의 성질 예측 작업을 대상으로 메타학습을 수행하며, 내부 루프와 외부 루프 최적화에 작업별 지원 세트와 쿼리 세트를 사용한다.
• Adam을 사용하여 $k \in \{16, 32, 64, 128, 256\}$개의 레이블된 인스턴스당 피니팅을 수행하며, 고정된 1e-4 학습률과 조기 정지 기법을 적용한다.
• Hold-out 테스트 세트에서 AUPRC를 사용해 성능을 평가하며, 5개의 랜덤 시드와 5개의 데이터 분할을 사용해 총 25회 반복한 평균 결과를 도출한다.

실험 결과

연구 질문

• RQ1 메타학습된 GNN 초기화가 다중작업 미리훈련 기반 모델에 비해 자원이 제한된 분자의 성질 예측 성능을 향상시킬 수 있는가?
• RQ2 특히 $k \in \{16, 32, 64, 128, 256\}$개의 인스턴스로 피니팅할 경우 메타초기화의 효과는 어떠한가?
• RQ3 메타초기화는 데이터 분포가 변화하는 분포 외 성질 예측 작업으로도 일반화되는가?
• RQ4 MAML, FO-MAML, ANIL 등의 다양한 메타학습 변종 간 성능과 훈련 효율성은 어떻게 비교되는가?

주요 결과

• MAML를 통해 학습된 메타초기화는 20개의 분포 내 분자의 성질 예측 작업 중 16개에서 다중작업 미리훈련 기반 모델을 능가하는 성능을 보였다.
• 모든 3개의 분포 외 작업에서 메타초기화는 모든 기반 모델보다 일관되게 뛰어난 성능을 보이며 강력한 일반화 능력을 입증했다.
• MAML는 분포 내 작업에서 기반 모델 중 최고 성능을 기록한 것에 비해 평균 AUPRC를 11.2% 향상시켰고, 분포 외 작업에서는 26.9% 향상되었다.
• 모든 피니팅 세트 크기에서 MAML는 분포 내 및 분포 외 작업 모두에서 16개에서 256개의 샘플까지 1위를 유지하며 최고의 성능을 기록했다.
• FO-MAML와 ANIL는 훈련 시간이 줄어들어 경쟁력 있는 성능를 보였지만, 평균 성능에서는 MAML에 뒤지지 않았다.
• Finetune-All 및 Finetune-Top 등의 기반 모델은 데이터가 많아질수록 성능이 향상되었지만, 모든 $k$ 값에서 MAML에 비해 뒤처져 MAML의 뛰어난 데이터 효율성은 입증되었다.