[논문 리뷰] Learning Over Molecular Conformer Ensembles: Datasets and Benchmarks

Yanqiao Zhu, JeeHyun Hwang외 11명|arXiv (Cornell University)|2023. 09. 29.

Machine Learning in Materials Science인용 수 6

한 줄 요약

이 논문은 분자 구형 집합 학습을 위한 첫 번째 종합적 벤치마크인 MARCEL을 소개한다. 이 벤치마크는 DFT로 계산된 볼츠만 평균화된 성질을 지닌 분자와 반응을 포함하는 네 가지 다양한 데이터셋을 포함한다. 본 연구는 구형 집합을 명시적으로 모델링할 경우 1D, 2D, 3D 분자 표현 학습 모델 전반에서 성능 향상이 뚜렷하게 이루어지며, 특히 촉매 설계나 반응 선택성 예측과 같은 구형 유동성과 관련된 과제에서 두드러진 성능 향상을 보임을 입증한다.

ABSTRACT

Molecular Representation Learning (MRL) has proven impactful in numerous biochemical applications such as drug discovery and enzyme design. While Graph Neural Networks (GNNs) are effective at learning molecular representations from a 2D molecular graph or a single 3D structure, existing works often overlook the flexible nature of molecules, which continuously interconvert across conformations via chemical bond rotations and minor vibrational perturbations. To better account for molecular flexibility, some recent works formulate MRL as an ensemble learning problem, focusing on explicitly learning from a set of conformer structures. However, most of these studies have limited datasets, tasks, and models. In this work, we introduce the first MoleculAR Conformer Ensemble Learning (MARCEL) benchmark to thoroughly evaluate the potential of learning on conformer ensembles and suggest promising research directions. MARCEL includes four datasets covering diverse molecule- and reaction-level properties of chemically diverse molecules including organocatalysts and transition-metal catalysts, extending beyond the scope of common GNN benchmarks that are confined to drug-like molecules. In addition, we conduct a comprehensive empirical study, which benchmarks representative 1D, 2D, and 3D molecular representation learning models, along with two strategies that explicitly incorporate conformer ensembles into 3D MRL models. Our findings reveal that direct learning from an accessible conformer space can improve performance on a variety of tasks and models.

연구 동기 및 목표

• 기존 분자 표현 학습(MRL) 모델들이 분자의 동적 구형 유동성에 주목하지 않고 고정된 구조로 간주하는 한계를 해결하기 위해.
• 단일 구형 또는 2D 그래프 기반 접근 방식을 초월해, 구형 집합을 명시적으로 모델링함으로써 분자 및 반응 성질 예측 성능 향상 여부를 평가하기 위해.
• 유기촉매, 전이 금속 복합체, 반응 대칭선택성 등을 포함하는 다양한 고품질 데이터셋을 바탕으로 표준화된 벤치마크를 구축하기 위해.
• 1D, 2D, 3D 모델이 단일 구형체가 아닌 구형 집합을 기반으로 훈련되었을 때의 상대적 성능 향상 여부를 조사하기 위해.
• 3D MRL 모델에 집합 정보를 통합하는 데 두 가지 전략을 탐색하기 위해: 집합 평균화 및 주의 기반 집합 집약

제안 방법

• 저자는 DFT 최적화된 구형 집합과 볼츠만 평균화된 목표 성질을 지닌 네 가지 데이터셋—Drugs-75K, Kraken, EE, BDE—를 구축한다.
• 각 데이터셋은 서로 다른 화학적 공간을 커버한다: 약물 유사 분자(Deugs-75K), 유기 인 화합물 리간드(Kraken), Rh 촉매를 사용한 대칭선택성 반응(EE), Pd 촉매를 사용한 산화 첨가 반응(BDE).
• 벤치마크는 분자 그래프, 단일 구형체, 또는 전체 구형 집합에서의 집합 평균 성질 예측을 위해 1D(SMILES 기반), 2D(그래프 기반), 3D(기하학적) 모델을 평가한다.
• 두 가지 집합 인식 전략이 도입된다: (1) 구형체 간 예측 평균화 및 (2) 목표 성질에 기여도에 따라 구형체를 가중치를 두는 주의 메커니즘 사용.
• 모든 모델은 표준 MRL 프로토콜을 사용해 훈련 및 평가되며, 성능은 테스트 분할에서 RMSE 및 R²와 같은 회귀 지표로 측정된다.
• 모델 유형 간 아키텍처 차이와의 영향을 분리하기 위해 추론 분석을 포함한다.

실험 결과

연구 질문

• RQ1 2D 그래프 신경망은 명시적인 집합 입력 없이 분자 구형 유동성을 얼마나 잘 암시적으로 모델링할 수 있는가?
• RQ2 구형 집합을 명시적으로 모델링할 경우 전자亲화도나 결합 에너지와 같은 구형 민감도 성질의 예측 정확도 향상 여부는 어떠한가?
• RQ3 1D, 2D, 3D 모델 아키텍처가 단일 구형체가 아닌 구형 집합을 기반으로 훈련되었을 때의 성능는 어떻게 다른가?
• RQ4 평균화 또는 주의 기반 가중치 부여 중 어느 집합 통합 전략이 다양한 분자 과제에서 더 우수한 일반화 성능를 보이는가?
• RQ5 DFT 최적화된 집합이 추론 시 이용 가능하지 않은 경우, 집합 기반 MRL 모델이 새로운 구형 분포에 일반화 가능한가?

주요 결과

• 구형 집합을 명시적으로 모델링할 경우 모든 모델 유형에서 일관된 성능 향상이 발생하며, 특히 구형 민감도 과제에서 3D 모델이 가장 큰 상대적 향상을 보였다.
• 주의 기반 집합 집약 전략은 단순 평균화보다 우수한 성능를 보였으며, 특히 EE 데이터셋에서 대칭선택성 예측과 같은 높은 구형 변동성을 포함한 과제에서 두드러졌다.
• 2D GNN은 구형 효과를 암시적으로 모델링하는 데 제한된 능력을 보였으며, 명시적인 집합 입력이 제공되지 않은 경우 성능 향상이 관찰되지 않았다.
• BDE 데이터셋에서는 추론 시 DFT 최적화된 구형체가 이용 가능하지 않았지만, Open Babel로 생성된 구형체를 기반으로 훈련된 모델이 여전히 뛰어난 성능를 기록하여, 불완전한 구형 집합에 대해서도 강건함을 입증했다.
• MARCEL 벤치마크는 기존 MRL 벤치마크가 구형 동적 시스템에 대한 평가에 부적합함을 드러내며, 집합 인식 평가의 필요성을 강조한다.
• 본 연구는 볼츠만 평균화된 성질이 단일 구형체 예측보다 더 예측력이 높음을 입증하였으며, 특히 촉매 및 전자 성질 예측에서 두드러졌다.