[논문 리뷰] Molecular Property Prediction: A Multilevel Quantum Interactions Modeling Perspective

Chengqiang Lu, Qi Liu외 4명|arXiv (Cornell University)|2019. 06. 25.

Machine Learning in Materials Science참고 문헌 29인용 수 28

한 줄 요약

이 논문은 분자의 양자 상호작용을 계층적으로 원자 수준, 쌍 수준, 삼중 수준 등으로 모델링하는 다수준 그래프 컨볼루션 네트워크(MGCN)를 제안한다. 이를 통해 분자의 물리적 성질 예측 성능을 향상시킨다. 그래프 구조화된 표현과 다수준 메시지 전파를 활용함으로써 MGCN은 DFT보다 150,000배 빠른 추론 속도를 기록하면서도 강력한 일반화 능력과 이식성(transferability)을 보여준다.

ABSTRACT

Predicting molecular properties (e.g., atomization energy) is an essential issue in quantum chemistry, which could speed up much research progress, such as drug designing and substance discovery. Traditional studies based on density functional theory (DFT) in physics are proved to be time-consuming for predicting large number of molecules. Recently, the machine learning methods, which consider much rule-based information, have also shown potentials for this issue. However, the complex inherent quantum interactions of molecules are still largely underexplored by existing solutions. In this paper, we propose a generalizable and transferable Multilevel Graph Convolutional neural Network (MGCN) for molecular property prediction. Specifically, we represent each molecule as a graph to preserve its internal structure. Moreover, the well-designed hierarchical graph neural network directly extracts features from the conformation and spatial information followed by the multilevel interactions. As a consequence, the multilevel overall representations can be utilized to make the prediction. Extensive experiments on both datasets of equilibrium and off-equilibrium molecules demonstrate the effectiveness of our model. Furthermore, the detailed results also prove that MGCN is generalizable and transferable for the prediction.

연구 동기 및 목표

• 대규모 데이터셋에서 분자의 물리적 성질을 예측하는 데 있어 밀도함수이론(DFT)의 계산 비효율성을 해결하기 위해.
• 기존의 기계학습 방법보다 분자의 복잡한 양자 상호작용(예: 전기적 상호작용, 교환-반발력)을 더 효과적으로 모델링하기 위해.
• 작은 분자와 중간 크기 분자에서의 데이터를 이용해 큰 분자의 성질을 예측할 수 있는 일반화 가능하고 이식 가능한 모델을 개발하기 위해.
• 원자 수준, 쌍 수준, 삼중 수준 등의 계층적 양자 상호작용 패턴을 직접적으로 딥러닝 프레임워크에 통합하기 위해.

제안 방법

• 모든 분자를 손실 없이 구조적 및 공간적 정보를 유지하는 방식으로 그래프로 표현한다.
• 점 수준(원자), 쌍 수준(원자 쌍), 삼중 수준(원자 삼중체), 그리고 고차원 상호작용을 처리할 수 있는 계층적 그래프 신경망을 설계한다.
• 메시지 전파 메커니즘을 사용해 다양한 수준 간의 상호작용 표현을 전파하고 집계함으로써 복잡한 양자 상관관계를 포착한다.
• 최종 예측을 도출하기 위해 읽기 읽기 레이어를 사용하여 분자의 물리적 성질 레이블(예: 원자화 에너지)을 이용해 모델을 엔드 투 엔드로 훈련시킨다.
• 작은 분자에서 큰 분자로의 이식성을 향상시키기 위해 사전 훈련과 미세조정 전략을 활용한다.
• 실험적 검증을 기반으로 상호작용 레이어의 수를 최적화하였으며, 성능과 일반화 능력의 균형을 고려해 네 개의 레이어를 최적으로 판단하였다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 분자 내 다수준 양자 상호작용을 효과적으로 포착하여 성질 예측 성능을 향상시킬 수 있는가?
• RQ2 예측 정확도와 추론 속도 측면에서 제안된 MGCN 모델은 DFT 및 기존의 GNN들과 비교해 어떻게 성능을 내는가?
• RQ3 작은 분자에서 훈련된 모델이 얼마나 큰 분자의 성질까지 일반화하여 예측할 수 있는가?
• RQ4 모델의 능력과 일반화 능력의 균형을 고려할 때 최적의 계층적 상호작용 레이어 수는 얼마인가?

주요 결과

• MGCN는 DTNN, SchNet, enn-s2s 기준선과 비교해 평형 및 비평형 분자 데이터셋에서 가장 낮은 평균 절대 오차(MAE)를 기록하였다.
• 모델은 DFT보다 150,000배 더 빠른 속도를 기록하였으며, 단일 CPU 코어에서 분자당 추론에 단 0.024초가 소요되었다.
• MGCN는 강력한 이식성을 보였다. '개발(Develop)' 모델은 작은 분자 데이터만으로 훈련되었지만 큰 분자에서 낮은 MAE를 기록하였으며, '사전 훈련(Pre-train)' 모델은 소량의 큰 분자 데이터로도 성능을 더욱 향상시켰다.
• 네 개의 상호작용 레이어가 최적의 성능을 내었으며, 이는 DFT에서 일반적으로 사용되는 대칭 함수의 수와 일치하여 이론적·실험적 상관관계를 잘 보여주었다.
• 계층적 메시지 전파 메커니즘이 일반화 능력을 향상시켜, 특히 레이블이 부족한 상황에서 더 나은 표현 학습을 가능하게 하였다.