[논문 리뷰] Molecular machine learning with conformer ensembles

Simon Axelrod, Rafael Gómez‐Bombarelli|arXiv (Cornell University)|2020. 12. 15.

Computational Drug Discovery Methods인용 수 9

한 줄 요약

이 논문은 약물 발굴에서 분자의 물리적 성질 예측을 향상시키기 위해 다수의 3D 분자 구형체(4D 표현)를 통합하는 딥러닝 모델을 제안한다. ChemProp와 SchNet의 아키텍처를 확장하여 구형체 어텐션을 도입함으로써 2D 그래프 기반 방법보다 성능이 뛰어나지만, 다수의 구형체로부터 온 성능 향상은 미미하다. 단일 구형체로도 충분히 높은 성능을 기록하며, 어텐션 가중치는 생물학적으로 관련된 구형체를 해석 가능하게 드러낸다.

ABSTRACT

Virtual screening can accelerate drug discovery by identifying promising candidates for experimental evaluation. Machine learning is a powerful method for screening, as it can learn complex structure-property relationships from experimental data and make rapid predictions over virtual libraries. Molecules inherently exist as a three-dimensional ensemble and their biological action typically occurs through supramolecular recognition. However, most deep learning approaches to molecular property prediction use a 2D graph representation as input, and in some cases a single 3D conformation. Here we investigate how the 3D information of multiple conformers, traditionally known as 4D information in the cheminformatics community, can improve molecular property prediction in deep learning models. We introduce multiple deep learning models that expand upon key architectures such as ChemProp and Schnet, adding elements such as multiple-conformer inputs and conformer attention. We then benchmark the performance trade-offs of these models on 2D, 3D and 4D representations in the prediction of drug activity using a large training set of geometrically resolved molecules. The new architectures perform significantly better than 2D models, but their performance is often just as strong with a single conformer as with many. We also find that 4D deep learning models learn interpretable attention weights for each conformer.

연구 동기 및 목표

• 다수의 3D 분자 구형체(4D 표현)를 통합함으로써 딥러닝 모델이 분자의 물리적 성질 예측에 있어 향상되는지 조사하는 것.
• 기하학적으로 해석된 분자들의 대규모 데이터셋을 사용하여 2D, 3D, 4D 모델의 약물 활성 예측 성능을 비교 평가하는 것.
• 4D 모델이 생물학적으로 관련된 구형체를 강조하는 해석 가능한 어텐션 가중치를 학습하는지 평가하는 것.
• SARS-CoV에서 SARS-CoV-2로의 전이 학습의 유용성을 평가하며, 이는 3D 및 4D 모델을 활용하여 수행된다.
• 불균형한 약물 발굴 데이터셋에서 표준 평가 지표의 한계를 보완하기 위해 ROC 엔리치먼트(ROCE)를 보완 평가 지표로 포함하는 것.

제안 방법

• 다수의 구형체를 입력으로 받는 ChemProp 및 SchNet 기반의 새로운 딥러닝 아키텍처를 제안하며, 각 구형체의 기여도를 평가하기 위해 구형체 어텐션을 사용한다.
• 기하학적으로 해석된 구조를 가진 대규모 분자 데이터셋을 사용하여 모델을 훈련시키며, 균형 잡힌 샘플링과 다수의 랜덤 시드를 활용해 성능의 안정성을 확보한다.
• ROC-AUC, PRC-AUC, ROCE(ROC 엔리치먼트, 0.5%, 1%, 2%, 5% 기준)와 같은 표준 기계학습 평가 지표를 사용해 모델 성능을 평가한다.
• 2D 모델의 경우 앙상블 불확실성 추정을, 3D/4D 모델의 경우 다양한 훈련 에포크 동안의 모델 평균화를 통해 불확실성 추정을 수행한다.
• SARS-CoV 데이터에서 사전 훈련을 수행한 후 SARS-CoV-2 억제 데이터에 대해 미세조정을 통해 전이 학습을 적용한다.
• 분자 동역학 또는 체계적 탐색을 통해 각 분자에 대한 다양한 3D 표현을 생성하기 위해 구형체 샘플링을 활용한다.

실험 결과

연구 질문

• RQ1 다수의 3D 구형체(4D 표현)를 통합함으로써 2D 그래프 기반 모델보다 분자의 물리적 성질 예측 성능이 유의미하게 향상되는가?
• RQ2 다수의 구형체를 사용함으로써 얻는 성능 향상은 상당한가, 아니면 단일 대표 구형체로도 충분한가?
• RQ3 4D 딥러닝 모델이 생물학적으로 관련된 구형체를 강조하는 해석 가능한 어텐션 가중치를 학습할 수 있는가?
• RQ4 SARS-CoV에서 SARS-CoV-2로의 전이 학습이 예측 성능 향상에 기여하는가, 그리고 이 성능 향상은 3D 또는 4D 표현의 사용 여부에 따라 달라지는가?
• RQ5 불균형한 데이터셋에서 가상 스크리닝 성능 평가 시, ROC-AUC 및 PRC-AUC와 비교해 ROCE는 어떤가?

주요 결과

• SARS-CoV-2 억제 예측에서 4D 모델은 2D 그래프 기반 모델보다 유의미하게 뛰어난 성능을 보였으며, ROC-AUC 및 PRC-AUC 점수 모두 높았다.
• 단일 대표 3D 구형체를 사용한 모델가 다수의 구형체를 사용한 모델와 유사한 성능을 기록하여, 전체 4D 입력에서의 추가 이점은 미미한 것으로 나타났다.
• 4D 모델의 구형체 어텐션 메커니즘은 결합과 관련된 구조적으로 중요한 구형체를 강조하는 해석 가능한 가중치를 학습했다.
• SARS-CoV에서 SARS-CoV-2로의 전이 학습은 모델 성능 향상에 기여했지만, 성과 향상은 미미했으며 3D 또는 4D 모델이 2D 모델보다 뚜렷하게 우월하지는 않았다.
• 0.5%, 1%, 2%, 5% 기준으로 평가된 ROCE 점수는 ROC-AUC나 PRC-AUC만으로 평가하는 것보다 불균형한 데이터셋에서 가상 스크리닝 성능 평가에 더 관련성이 높았다.
• 앙성 훈련을 통해 2D 모델의 불확실성 추정이 더 신뢰할 수 있었으며, 3D/4D 모델의 경우 계산 자원 제약로 인해 다양한 훈련 에포크 동안의 평균화가 불확실성 추정에 필요했다.