[논문 리뷰] Deep Molecular Representation Learning via Fusing Physical and Chemical Information

Shuwen Yang, Ziyao Li외 2명|arXiv (Cornell University)|2021. 11. 28.

Machine Learning in Materials Science인용 수 9

한 줄 요약

이 논문은 물리적 및 화학적 정보를 융합하여 분자 표현 학습을 위한 새로운 딥러닝 아키텍처인 PhysChem을 제안한다. 이는 분자의 동역학을 시뮬레이션하여 구조를 학습하는 물리학자 네트워크(PhysNet)와 기하학적 인식 메시지 전파를 사용하여 화학적 성질을 예측하는 화학자 네트워크(ChemNet)를 결합한 것이다. 양 네트워크를 협업 메커니즘으로 함께 훈련함으로써 구조적 및 힘 정보를 공유함으로써, 추론 시 레이블이 부여된 구조가 필요 없이 정확한 표현 학습을 가능하게 하여 MoleculeNet 및 SARS-CoV-2 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Molecular representation learning is the first yet vital step in combining deep learning and molecular science. To push the boundaries of molecular representation learning, we present PhysChem, a novel neural architecture that learns molecular representations via fusing physical and chemical information of molecules. PhysChem is composed of a physicist network (PhysNet) and a chemist network (ChemNet). PhysNet is a neural physical engine that learns molecular conformations through simulating molecular dynamics with parameterized forces; ChemNet implements geometry-aware deep message-passing to learn chemical / biomedical properties of molecules. Two networks specialize in their own tasks and cooperate by providing expertise to each other. By fusing physical and chemical information, PhysChem achieved state-of-the-art performances on MoleculeNet, a standard molecular machine learning benchmark. The effectiveness of PhysChem was further corroborated on cutting-edge datasets of SARS-CoV-2.

연구 동기 및 목표

• 기존의 분자 표현 방법이 물리적 및 화학적 본질을 간과하는 한계를 해결하기 위해 두 관점을 통합한 일관된 딥러닝 프레임워크를 통합한다.
• 특화된 네트워크이지만 상호 협력하는 방식으로 분자의 구조적 형태와 화학적 성질을 함께 학습하는 신경망 아키텍처를 개발한다.
• 추론 시 레이블이 부여된 3차원 구조에 의존하지 않도록, PhysNet이 구조를 처음부터 생성하도록 훈련시켜 의존도를 제거한다.
• 분야 특화된 물리적 및 화학적 인덕티브 바이어스를 통합함으로써 분자 표현 학습의 일반화 능력과 해석 가능성 향상을 도모한다.
• MoleculeNet 및 최신 SARS-CoV-2 데이터셋을 포함한 표준 벤치마크에서 뛰어난 성능을 입증한다.

제안 방법

• PhysChem은 두 전문가 네트워크로 구성된다: PhysNet은 학습된 매개변수화된 힘을 사용하여 분자의 동역학을 시뮬레이션함으로써 안정적인 분자 구조를 예측하는 신경 물리 엔진이다.
• ChemNet은 국소 분자 기하학과 화학적 환경에 기반한 원자 및 결합 상태를 학습하기 위해 기하학적 인식 메시지 전파 프레임워크를 사용한다.
• 두 네트워크는 전문 지식을 공유함으로써 협업한다: PhysNet은 ChemNet의 결합 표현을 사용하여 비틀림 힘을 계산하고, ChemNet은 PhysNet의 중간 구조를 활용하여 메시지 전파 업데이트를 안내한다.
• 모델는 공간 불변 구조 손실(PhysNet용)과 성질 예측 손실(ChemNet용)을 조합한 다중 작업 손실로 엔드 투 엔드로 훈련되며, 이는 하이퍼파rameter λ로 가중된다.
• PhysNet은 입력 특징에서 암묵적인 원자 위치 및 운동량을 초기화하고, 고전 역학을 사용하여 시스템을 진화시킨다. 최종 구조는 카르테시안 좌표에 대한 L2 손실로 감독된다.
• ChemNet은 집계된 원자 상태에서 분자 표현을 출력하며, 이는 용해도 및 독성과 같은 레이블이 부여된 화학적 및 생물의학적 성질을 감독한다.

실험 결과

연구 질문

• RQ1 물리적 동역학과 화학적 상호작용을 명시적으로 모델링하는 이중 네트워크 아키텍처가 분자 표현 학습을 함께 향상시킬 수 있는가?
• RQ2 물리학 기반 네트워크와 화학 인식 네트워크 간의 협업이 표준 다중 작업 학습 또는 별도의 모델보다 더 뛰어난 성능을 낼 수 있는가?
• RQ3 추론 시 레이블이 부여된 3차원 기하도 없이도 모델이 정확한 분자 구조를 얼마나 잘 학습할 수 있는가?
• RQ4 물리적 및 화학적 인덕티브 바이어스를 통합할 경우, SARS-CoV-2 약물 타겟 예측과 같은 복잡한 구조 의존 작업에서 성능에 어떤 영향을 미치는가?
• RQ5 공동 훈련 설정에서 구조 학습과 성질 예측 간 최적의 트레이드오프는 무엇인가?

주요 결과

• PhysChem은 QM9를 포함한 MoleculeNet의 모든 회귀 작업에서 최신 기술 수준의 성능을 달성했으며, Lipophilicity 데이터셋에서 RMSE 0.568 ± 0.014를 기록해 이전 방법인 AttentiveFP 및 CMPNN를 능가했다.
• FreeSolv 데이터셋에서 PhysChem은 RMSE 0.692 ± 0.112를 기록했으며, 이는 ChemNet(rdkit conf.)의 0.663 ± 0.029보다 유의미하게 뛰어나, 희소한 물리화학 데이터에서의 일반화 능력 향상을 입증했다.
• SARS-CoV-2 데이터셋에서 PhysChem은 Multi-AUC 0.792 ± 0.013을 기록해 평가된 모든 모델 중 최고 수준을 기록했으며, 복잡한 구조 의존 작업에서의 뛰어난 성능을 보였다.
• 절단 실험 결과, PhysChem의 협업 메커니즘이 필수적임을 확인했으며, 단순한 다중 작업 전략(ChemNet s.a.)은 부정적 전이를 유도했지만, PhysChem의 설계는 이 문제를 피했다.
• 시각화 결과, 기준 모델 대비 PhysChem이 결합 길이, 결합 각도, 그리고 아로마틱 평면성과 같은 국소 구조적 특징을 더 잘 유지하는 것으로 확인되었다.
• 하이퍼파ram터 분석 결과, λ ≤ 0.1이 구조 학습과 성질 예측 간 최적의 균형을 이룹니다. 이보다 높은 λ 값은 성질 예측 성능을 떨어뜨리는 경향이 있었다.