[논문 리뷰] Making Graph Neural Networks Worth It for Low-Data Molecular Machine Learning

Aneesh Pappu, Brooks Paige|arXiv (Cornell University)|2020. 11. 24.

Machine Learning in Materials Science참고 문헌 21인용 수 12

한 줄 요약

이 논문은 메타학습 기법인 MAML 및 FO-MAML을 활용할 경우, 그래프 신경망(GNNs)이 저데이터 분자의 기계학습에서 기존의 피ン프린팅 방법을 능가할 수 있음을 보여준다. 저자들은 표준 GNN이 저데이터 환경에서 성능이 열 劣하나, MAML 기반 적응을 통해 성능 향상이 뚜렷하게 이루어지며, 특히 분포 외 작업에서 두드러진 성능 향상을 보인다. 반면 ANIL은 태스크 특화 적응이 부족하고 분포 이질성이 존재해 성능이 열 劣한다.

ABSTRACT

Graph neural networks have become very popular for machine learning on molecules due to the expressive power of their learnt representations. However, molecular machine learning is a classically low-data regime and it isn't clear that graph neural networks can avoid overfitting in low-resource settings. In contrast, fingerprint methods are the traditional standard for low-data environments due to their reduced number of parameters and manually engineered features. In this work, we investigate whether graph neural networks are competitive in small data settings compared to the parametrically 'cheaper' alternative of fingerprint methods. When we find that they are not, we explore pretraining and the meta-learning method MAML (and variants FO-MAML and ANIL) for improving graph neural network performance by transfer learning from related tasks. We find that MAML and FO-MAML do enable the graph neural network to outperform models based on fingerprints, providing a path to using graph neural networks even in settings with severely restricted data availability. In contrast to previous work, we find ANIL performs worse that other meta-learning approaches in this molecule setting. Our results suggest two reasons: molecular machine learning tasks may require significant task-specific adaptation, and distribution shifts in test tasks relative to train tasks may contribute to worse ANIL performance.

연구 동기 및 목표

• 그래프 신경망(GNNs)이 저데이터 분자의 기계학습 환경에서 기존의 피ン프린팅 방법을 능가할 수 있는지 평가하는 것.
• 과적합이 주요 문제인 저데이터 환경에서 표준 GNN의 한계를 조사하는 것.
• MAML, FO-MAML, ANIL과 같은 사전학습 및 메타학습 기법이 전이학습을 통해 GNN 성능 향상에 기여할 수 있는지 탐색하는 것.
• 기타 소수의 샘플 학습 과제에서 성공한 바 있는 ANIL이 분자 성질 예측에서는 왜 성능이 열 劣하는지 이해하는 것.
• CCA를 활용해 층 표현의 유사도를 분석함으로써, 분자 GNN에서 내부 루프 적응과 특징 재사용의 역할을 분석하는 것.

제안 방법

• 저자들은 ChEMBL20 데이터셋에서 다양한 데이터 임계값을 적용하여 메시지 전달 GNN인 Chemprop와 ECFP4 피ン프린팅 기반 모델을 비교한다.
• MAML 및 FO-MAML를 통해 메타학습을 적용하여, 소수의 예시로 새로운 분자 과제에 빠르게 적응할 수 있는 모델 초기화를 최적화한다.
• ANIL은 기준 메타학습 방법으로 사용되며, GNN 본체는 고정된 채로 최종 분류 헤드만 업데이트한다.
• 특징 재사용은 캐논리컬 상관 분석(PCA)을 통해 내부 루프 적응 전후의 층 표현 유사도를 측정함으로써 평가된다.
• 분포 이질성 하에서 일반화 성능을 평가하기 위해 분포 내 및 분포 외 분자 과제에서 실험을 수행한다.
• 성능 평가에는 여러 분자 성질 예측 과제에서 5중 교차검증을 기반으로 AUROC 및 AUPRC를 사용한다.

실험 결과

연구 질문

• RQ1 그래프 신경망이 저데이터 분자의 기계학습에서 피ン프린팅 기반 모델을 능가할 수 있는가?
• RQ2 표준 GNN이 과적합 문제로 어려움을 겪는 저데이터 환경에서 MAML 및 FO-MAML를 통한 메타학습이 GNN 성능 향상에 기여하는가?
• RQ3 ANIL이 분자 성질 예측에서 MAML 및 FO-MAML에 비해 왜 성능이 열 劣하는가?
• RQ4 분자 GNN에서 효과적인 소수의 샘플 학습을 위해 내부 루프 적응이 어느 정도 필수적인가?
• RQ5 메타학습 방법인 ANIL의 성능에 대해 메타학습 및 테스트 과제 간의 분포 이질성이 어떻게 影響을 미치는가?

주요 결과

• MAML 및 FO-MAML는 저데이터 환경에서 GNN 성능을 크게 향상시켜, 피ン프린팅 기반 기준선 및 사전학습보다 뛰어난 성능을 기록한다.
• 1024개 이하의 샘플일 경우 Chemprop(GNN)은 ECFP4 피ン프린팅 기반 기준선보다 열 劣하지만, 1024개를 초과할 경우 이를 능가한다.
• ANIL은 MAML 및 FO-MAML보다 열 劣하며, 분포 외 과제에서 평균 AUPRC가 0.483로, FO-MAML의 0.593보다 낮다.
• CCA 분석 결과, GNN의 층 표현과 첫 번째 피드포워드 층의 표현은 내부 루프 적응 후에 크게 변화함을 확인하여, 특징 재사용이 제한적임을 시사한다.
• ANIL의 열 劣한 성능은 태스크 특화 적응이 부족하고, 테스트 과제에서의 분포 이질성으로 인한 부정적 전이 때문임을 기인한다.
• MAML 및 FO-MAML는 모든 과제에서 평균 순위 1.43을 기록하여 최고의 성능를 보였고, ANIL은 순위가 가장 열 劣한 2.37을 기록하여 이 분야에서의 비효율성을 확인한다.