[논문 리뷰] HamNet: Conformation-Guided Molecular Representation with Hamiltonian Neural Networks

Ziyao Li, Shu-Wen Yang외 2명|arXiv (Cornell University)|2021. 05. 08.

Machine Learning in Materials Science참고 문헌 27인용 수 6

한 줄 요약

HamNet는 학습 가능한 에너지 및 소산 함수를 갖춘 미분 가능 해밀토니안 신경망을 사용하여 2D 구조에서 3D 분자의 구형을 예측하는 물리 기반 분자 표현 방법을 제안한다. 메시지 전파 특징 추출기와 결합하여 MoleculeNet 벤치마크에서 최신 기술 수준 성능을 달성한다.

ABSTRACT

Well-designed molecular representations (fingerprints) are vital to combine medical chemistry and deep learning. Whereas incorporating 3D geometry of molecules (i.e. conformations) in their representations seems beneficial, current 3D algorithms are still in infancy. In this paper, we propose a novel molecular representation algorithm which preserves 3D conformations of molecules with a Molecular Hamiltonian Network (HamNet). In HamNet, implicit positions and momentums of atoms in a molecule interact in the Hamiltonian Engine following the discretized Hamiltonian equations. These implicit coordinations are supervised with real conformations with translation- & rotation-invariant losses, and further used as inputs to the Fingerprint Generator, a message-passing neural network. Experiments show that the Hamiltonian Engine can well preserve molecular conformations, and that the fingerprints generated by HamNet achieve state-of-the-art performances on MoleculeNet, a standard molecular machine learning benchmark.

연구 동기 및 목표

• 2D 분자 그래프에서 3D 분자 구형을 학습하기 위한 미분 가능하고 물리 기반의 방법을 개발한다.
• 기존 3D 분자 특징 추출 방법의 한계, 즉 높은 계산 비용과 이동/회전 불변성 부족을 해결한다.
• 해밀토니안 역학과 같은 물리 법칙을 딥 러닝 아키텍처에 통합하여 분자 표현 학습을 향상시킨다.
• 2D 및 3D 기준선과 비교해 분자 성질 예측 작업에서 뛰어난 성능을 달성한다.
• 불변성 감독 손실 함수를 사용하여 구형과 특징 추출을 종단 간(end-to-end)으로 최적화할 수 있도록 한다.

제안 방법

• 해밀토니안 엔진은 원자 위치와 운동량을 암시적 변수로 모델링하며, 학습 가능한 에너지 및 소산 함수를 갖춘 이산화 해밀토니안 방정식에 의해 변화한다.
• 엔진은 이동 및 회전 불변성을 강제하는 새로운 손실 함수를 사용하여 좌표계 변화에 대한 강건성을 확보한다.
• 실제 분자 구형이 해밀토니안 엔진이 예측한 최종 위치를 위한 감독 타겟으로 사용된다.
• 예측된 3D 좌표는 수정된 메시지 전파 신경망(MPNN)에 공급되어 최종 분자 특징을 생성한다.
• 기하학적 정보를 유지하는 재설계된 MPNN를 통해 원자 특징과 학습된 구형을 통합한다.
• 전체 프레임워크는 종단 간 미분 가능하며, 구형 예측과 특징 추출의 공동 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 미분 가능하고 물리 기반의 신경망이 2D 분자 구조에서 효과적으로 분자 구형을 예측할 수 있는가?
• RQ2 해밀토니안 역학을 통합할 경우 표준 MPNN나 2D 특징 추출 방법에 비해 분자 표현 학습에 어떤 개선을 이룰 수 있는가?
• RQ3 이동 및 회전 불변 손실 함수는 구형 예측의 일반화 및 강건성에 어느 정도 기여하는가?
• RQ4 해밀토니안 기반 접근 방식이 표준 벤치마크에서 기존 3D 및 2D 분자 특징 추출 방법을 초월할 수 있는가?
• RQ5 스텝 크기, 깊이, 잠재 차원 수와 같은 하이퍼파rameter는 해밀토니안 엔진의 성능과 효율성에 어떤 영향을 미치는가?

주요 결과

• 해밀토니안 엔진은 전통적인 기하학적 및 신경 기반 기준선을 능가하는 최신 기술 수준의 구형 예측 성능을 달성한다.
• MoleculeNet에서 HamNet는 Multi-MAE 1.194 ± 0.038을 기록하여 이전 최고 성능인 Attentive FP(1.292)와 3DGCN(–)을 초월한다.
• ESOL 데이터셋에서 HamNet는 RMSE 0.731 ± 0.024를 기록하여 Attentive FP(0.736)와 3DGCN(0.824 ± 0.014)를 모두 능가한다.
• 모델은 하이퍼파rameter 선택에 대해 강건하며, 최적 성능은 스텝 크기 η ∈ [0.025, 0.050] 및 깊이 T ≈ 25–30에서 달성된다.
• 잠재 차원 수(df)를 32까지 증가시키면 성능 향상이著명하며, 실행 시간은 거의 영향을 받지 않는다.
• 불변 손실 함수의 사용은 실제 구형이 공간에서 정렬되어 있지 않아도 효과적인 학습이 가능하게 한다.