[논문 리뷰] Multitask Learning On Graph Neural Networks Applied To Molecular Property Predictions

Fábio Capela, Vincent Nouchi외 3명|arXiv (Cornell University)|2019. 10. 29.

Computational Drug Discovery Methods인용 수 9

한 줄 요약

이 논문은 분자 성질 예측을 위한 그래프 신경망(GNN)을 사용한 다중 작업 학습 프레임워크를 제안하며, 여러 물리화학적 성질을 동시에 학습함으로써 모델 성능을 향상시키고 분산을 감소시킴을 입증한다. 주요 기여는 다중 작업 학습이 명시적 데이터 증강이나 전이 학습의 이점을 요구하지 않더라도 암묵적 데이터 증강 역할을 하여 성능을 크게 향상시킨다는 점이며, 특히 소규모 데이터셋에서 두드러진 성능 향상이 관찰된다.

ABSTRACT

Prediction of molecular properties, including physico-chemical properties, is a challenging task in chemistry. Herein we present a new state-of-the-art multitask prediction method based on existing graph neural network models. We have used different architectures for our models and the results clearly demonstrate that multitask learning can improve model performance. Additionally, a significant reduction of variance in the models has been observed. Most importantly, datasets with a small amount of data points reach better results without the need of augmentation.

연구 동기 및 목표

• 비용이 많이 들거나 시간이 오래 걸리는 물리화학적 측정이 어려운 분자 성질 예측에서의 데이터 부족 문제를 해결하기 위해.
• GNN을 활용한 다중 작업 학습을 통해 저데이터 환경에서의 모델 일반화 능력 향상과 과적합 방지를 위해.
• 다양한 분자 성질 예측 과제에서 다중 작업 학습이 성능 및 강건성 향상에 기여하는지 평가하기 위해.
• 목표 상관관계 기반 데이터 선택의 역할과 학습된 GNN 임베딩에서의 전이 가능성 부재를 조사하기 위해.

제안 방법

• 원자 및 결합 특징을 사용하여 분자 그래프를 모델링하기 위해 GIN, GGRNet, GAIN 등의 그래프 신경망 아키텍처를 활용하였다.
• Esol, FreeSolv, logD7.4, BP, LogVP, LogP의 6개 분자 성질 예측 과제를 동시에 학습함으로써 다중 작업 학습을 적용하였다.
• 목표 성질 간 상관관계를 기반으로 한 데이터 선택 전략을 도입하여 모델 성능 향상을 도모하였다.
• 공유된 GNN 인코더 레이어와 작업별 고유의 헤드를 갖는 엔드 투 엔드 학습 방식을 사용하였으며, 모든 과제에서 RMSE 최소화를 최적화 목표로 하였다.
• 학습된 GNN 컨볼루션 레이어를 고정하고 보류된 과제에서만 최종 분류기만 미세조정하는 방식으로 전이 학습 실험을 수행하였다.
• 학습 중 가중치 분포의 동역학을 분석하여 인도크티브 바이어스와 모델 일반화 능력의 이해를 도모하였다.

실험 결과

연구 질문

• RQ1 GNN을 활용한 다중 작업 학습이 소규모 데이터셋에서 특히 분자 성질 예측 정확도 향상과 분산 감소에 기여하는가?
• RQ2 목표 상관관계 기반 데이터 선택이 다중 작업 학습 성능 향상에 기여하는가?
• RQ3 사전 학습된 모델의 GNN 표현이 새로운, 알려지지 않은 분자 성질 예측 과제로 전이 가능한가?
• RQ4 학습 중 다중 작업 모델의 가중치 분포는 단일 작업 모델과 어떻게 다를까?

주요 결과

• 모든 과제에서 다중 작업 학습이 RMSE를 크게 감소시켰으며, 가장 뛰어난 성능을 보인 GGRNet 모델은 Esol에서 0.53±0.02 RMSE, FreeSolv에서 0.80±0.03 RMSE를 기록하였다.
• 데이터 선택 전략을 적용한 GIN 모델은 LogP에서 0.47±0.01 RMSE를 기록하여 단일 작업 기준선(0.48±0.02)을 초월하였다.
• 전이 학습 실험에서 의미 있는 전이 가능성은 관찰되지 않았으며, 보류된 과제에서의 미세조정은 항상 성능을 떨어뜨리거나 향상되지 않았다.
• 다중 작업 모델의 가중치 분포는 학습 전반에 걸쳐 넓게 유지되어 가설 공간의 더 넓은 탐색과 과적합 감소를 시사한다.
• 다중 작업 학습의 성능 향상 요인은 주로 특징 전이가 아니라 관련 과제를 융합함으로써 발생하는 암묵적 데이터 증강 덕분이었다.
• 목표 상관관계 기반 데이터 선택은 대부분의 경우 성능 향상을 이끌었으나, 잠재적 과소적합이 발생할 수 있는 경우(예: LogVP 및 logD7.4)에는 예외였다.