[논문 리뷰] Cormorant: Covariant Molecular Neural Networks

Brandon Anderson, Truong-Son Hy외 1명|arXiv (Cornell University)|2019. 06. 06.

Machine Learning in Materials Science참고 문헌 34인용 수 142

한 줄 요약

Cormorant는 회전 대칭을 보존하는 신경망으로 학습 분자 포텐셜 및 기저 상태 특성을 학습하며, SO(3) 공변 활성화와 Clebsch–Gordan 비선형성을 사용해 MD-17에서 최첨단 성능과 QM9에서 경쟁력 있는 성능을 달성한다.

ABSTRACT

We propose Cormorant, a rotationally covariant neural network architecture for learning the behavior and properties of complex many-body physical systems. We apply these networks to molecular systems with two goals: learning atomic potential energy surfaces for use in Molecular Dynamics simulations, and learning ground state properties of molecules calculated by Density Functional Theory. Some of the key features of our network are that (a) each neuron explicitly corresponds to a subset of atoms; (b) the activation of each neuron is covariant to rotations, ensuring that overall the network is fully rotationally invariant. Furthermore, the non-linearity in our network is based upon tensor products and the Clebsch-Gordan decomposition, allowing the network to operate entirely in Fourier space. Cormorant significantly outperforms competing algorithms in learning molecular Potential Energy Surfaces from conformational geometries in the MD-17 dataset, and is competitive with other methods at learning geometric, energetic, electronic, and thermodynamic properties of molecules on the GDB-9 dataset.

연구 동기 및 목표

• 대칭 인지 아키텍처를 통해 분자 상호작용 학습의 동기를 제시하고 정확도와 물리적 타당성을 향상시키는 것.
• 뉴런이 원자 부분집합에 대응하고 활성화가 회전에 따라 공변적으로 변하는 공변 신경망인 Cormorant를 소개한다.
• SO(3) 공변성을 강제하는 것이 포텐셜 에너지 표면 및 기저상태 분자 특성의 학습을 향상시킴을 입증한다.

제안 방법

• 활성화를 SO(3) 벡터(스칼라 및 고차 텐서)로 표현하여 회전 공변성을 보장한다.
• CG 변환(Clebsch–Gordan (CG))를 비선형 혼합 연산으로 사용하여 층 간 텐서 성분을 결합한다.
• 뉴런을 일체(원자) 및 이체(쌍) 상호작용으로 구성하고 반지름 기반 게이팅 및 거리 기반 게이팅을 적용한다.
• 입력 특징화, CG-Nav (공변) 계층 및 회전 불변 출력 헤드의 3부분 네트워크를 학습시킨다.
• 각 뉴런이 고정 타입의 SO(3) 벡터를 출력하도록 허용하여 물리적 다중극 형태를 닮은 학습된 상호작용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 회전에 공변하도록 학습하는 동안 신경망을 어떻게 설계할 수 있는가?
• RQ2 CG 비선형성을 갖는 공변 아키텍처가 기존 ML 포스 필드를 능가하고 기저상 분자 특성을 예측할 수 있는가?
• RQ3 활성화를 SO(3) 텐서로 표현하는 것이 MD 및 DFT 유래 타깃의 학습 정확도에 미치는 영향은 무엇인가?

주요 결과

• Cormorant는 MD-17에서 분자 포텐셜 에너지 표면 학습에 대해 경쟁 모델을 능가한다.
• QM9에서 Cormorant는 여러 타깃(α, Δε, εHOMO, εLUMO, μ, Cv)에서 선도적이거나 경쟁력 있는 성과를 달성한다.
• QM9 전반에서 12개 타깃 중 6개는 선도적이거나 경쟁력 있는 성능을 보이고, 나머지 타깃은 최상 성능의 40% 이내에 있으며(R^2는 특히 낮다).
• MD-17의 경우, 비교 가능한 학습 설정에서 DeepMD, DTNN, SchNet, GDML 및 sGDML과 비교했을 때 평가된 분자들에 대해 더 우수한 MAE를 달성한다.