[논문 리뷰] Predicting Aqueous Solubility of Organic Molecules Using Deep Learning Models with Varied Molecular Representations

Gihan Panapitiya, Michaël J. A. Girard외 4명|arXiv (Cornell University)|2021. 05. 26.

Computational Drug Discovery Methods참고 문헌 52인용 수 5

한 줄 요약

이 연구는 다양한 분자 표현 방식—분자 기초 수치, SMILES, 분자 그래프, 3차원 좌표—을 사용하여 네 가지 신경망 아키텍처를 통해 유기 분자의 수용성 예측을 위한 딥러닝 모델을 개발한다. 분자 기초 수치 기반 모델이 가장 높은 정확도를 보였으며, 3차원 데이터를 사용하지 않았음에도 불구하고 그래프 신경망(GNN)은 뛰어난 성능을 보였다. 반면, SchNet는 훈련 데이터 부족과 계산 자원 제약로 인해 성능이 떨어졌다.

ABSTRACT

Determining the aqueous solubility of molecules is a vital step in many pharmaceutical, environmental, and energy storage applications. Despite efforts made over decades, there are still challenges associated with developing a solubility prediction model with satisfactory accuracy for many of these applications. The goal of this study is to develop a general model capable of predicting the solubility of a broad range of organic molecules. Using the largest currently available solubility dataset, we implement deep learning-based models to predict solubility from molecular structure and explore several different molecular representations including molecular descriptors, simplified molecular-input line-entry system (SMILES) strings, molecular graphs, and three-dimensional (3D) atomic coordinates using four different neural network architectures - fully connected neural networks (FCNNs), recurrent neural networks (RNNs), graph neural networks (GNNs), and SchNet. We find that models using molecular descriptors achieve the best performance, with GNN models also achieving good performance. We perform extensive error analysis to understand the molecular properties that influence model performance, perform feature analysis to understand which information about molecular structure is most valuable for prediction, and perform a transfer learning and data size study to understand the impact of data availability on model performance.

연구 동기 및 목표

• 광범위한 유기 분자에 걸쳐 수용성을 예측할 수 있는 일반 목적의 딥러닝 모델을 개발하는 것.
• 분자 기초 수치, SMILES, 분자 그래프, 3차원 좌표 등 다양한 분자 표현 방식이 수용성 예측 정확도에 미치는 영향을 평가하는 것.
• 완전 연결 신경망, 순환 신경망, 그래프 신경망, SchNet의 네 가지 신경망 아키텍처 성능을 평가하는 것.
• 모델 예측 오류에 영향을 주는 분자 특성 및 구조적 특징을 규명하는 것.
• 데이터 크기와 전이 학습이 모델 일반화 능력과 성능에 미치는 영향을 조사하는 것.

제안 방법

• 가장 큰 가용 수용성 데이터셋을 기반으로 훈련하여 분자 구조에서 log 수용성 예측을 위한 딥러닝 모델을 학습한다.
• 분자 표현 방식으로 분자 기초 수치, SMILES 문자열, 분자 그래프, 3차원 원자 좌표를 사용한다.
• 네 가지 신경망 아키텍처를 적용한다: 완전 연결 신경망(FCNN), 순환 신경망(RNN), 그래프 신경망(GNN), SchNet.
• 수용성 범주 기반의 전략적 데이터 분할과 하이퍼파rameter 튜닝을 통해 균형 잡힌 훈련 및 평가를 확보한다.
• 예측 오류 분석을 수행하여 체계적인 오류 원인을 규명하고, 특성 중요도 분석을 통해 예측에 영향을 주는 구조적 특징을 평가한다.
• 전이 학습 및 데이터 크기 분석 실험을 수행하여 모델의 강건성과 데이터 효율성을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 유기 분자에 걸쳐 수용성 예측 정확도가 가장 높은 분자 표현 방식은 무엇인가?
• RQ2 동일한 입력 표현 방식을 사용할 때, 완전 연결 신경망, 순환 신경망, 그래프 신경망, SchNet의 다양한 딥러닝 아키텍처 간 성능 비교는 어떻게 되는가?
• RQ3 3차원 분자 기하학적 정보를 통합할 경우 수용성 예측 정확도가 얼마나 향상되는가?
• RQ4 어떤 분자 특성 또는 구조적 특징이 수용성 예측 모델의 높은 오류를 유발하는가?
• RQ5 훈련 데이터 크기가 증가함에 따라 모델 성능은 어떻게 변화하는가? 그리고 전이 학습은 낮은 데이터 수의 수용성 영역에서 성능 향상에 기여하는가?

주요 결과

• 분자 기초 수치 기반 모델이 모든 다른 표현 방식과 아키텍처를 앞서는 가장 높은 예측 정확도를 기록했다.
• 3차원 구조 정보를 사용하지 않았음에도 불구하고 그래프 신경망(GNN)이 뛰어난 성능을 보였으며, 이는 관련된 위상적 특징을 효과적으로 포착할 수 있음을 시사한다.
• 3차원 기하학을 고려해 설계된 SchNet는 훈련 데이터 부족과 계산 자원 제약로 인해 뚜렷하게 성능이 열 劣했다.
• 복잡한 분자, 이성질체, 기능기 위치의 미세한 변화가 있는 분자에서 모델의 오류율이 높았다.
• 외부 데이터셋에서 미리 훈련한 모델은 원시 입력을 사용하는 모델의 성능을 향상시켰으며, 더 큰 미리 훈련 데이터로는 추가적인 성능 향상이 가능할 것으로 보인다.
• 오류 패턴이 모델 간에 높은 상관관계를 보였으며, 이는 유사한 구조-성질 관계를 공통으로 학습하고 있음을 시사한다. 또한, 훈련 데이터가 많은 수용성 범주에서는 오류가 더 낮았다.