[논문 리뷰] SchNet: A continuous-filter convolutional neural network for modeling quantum interactions

Kristof T. Schütt, Pieter-Jan Kindermans외 4명|arXiv (Cornell University)|2017. 06. 26.

Machine Learning in Materials Science참고 문헌 31인용 수 470

한 줄 요약

SchNet은 분자의 양자 상호작용을 모델링하기 위해 연속-필터(convolutional) 계층을 도입하여 에너지 예측 및 에너지 보존 힘장을 가능하게 하며 양자화학 원칙을 존중합니다. QM9, MD17, ISO17 데이터셋에서 최첨단 성능을 달성합니다.

ABSTRACT

Deep learning has the potential to revolutionize quantum chemistry as it is ideally suited to learn representations for structured data and speed up the exploration of chemical space. While convolutional neural networks have proven to be the first choice for images, audio and video data, the atoms in molecules are not restricted to a grid. Instead, their precise locations contain essential physical information, that would get lost if discretized. Thus, we propose to use continuous-filter convolutional layers to be able to model local correlations without requiring the data to lie on a grid. We apply those layers in SchNet: a novel deep learning architecture modeling quantum interactions in molecules. We obtain a joint model for the total energy and interatomic forces that follows fundamental quantum-chemical principles. This includes rotationally invariant energy predictions and a smooth, differentiable potential energy surface. Our architecture achieves state-of-the-art performance for benchmarks of equilibrium molecules and molecular dynamics trajectories. Finally, we introduce a more challenging benchmark with chemical and structural variations that suggests the path for further work.

연구 동기 및 목표

• 회전/병진 불변성과 에너지 보존을 존중하면서 분자의 에너지 및 힘장 학습 네트워크를 개발한다.
• 연속-필터 합성을 사용하여 비격자(atom-centered) 데이터에 신경망을 확장한다.
• 화학적 및 구성 변이가 있는 벤치마크(QM9, MD17, ISO17)에서 접근법을 입증한다.
• 힘을 학습에 포함시키면 화학 공간 전반의 일반화가 향상된다는 것을 보여준다.

제안 방법

• 인터-원자 거리에서 필터를 생성하는 필터 생성 네트워크를 통해 연속-필터 컨볼루션(cfconv) 계층을 도입한다.
• 공유된 원자 종류 임베딩으로 원자별로 분자를 표현하고 cfconv 및 원자별 계층을 통해 원자 표현을 업데이트하는 상호작용 블록을 적용한다.
• 필터의 회전 불변성을 보장하기 위해 원자 간 거리의 구(Radial Basis) 확장을 사용한다.
• 에너지와 원자 힘을 모두 포함하는 손실을 최소화하여 총 에너지를 예측하도록 학습하고, 에너지 보존을 보장한다.
• 구성적으로 매끄럽고 회전-구배가 없는 힘장을 보장하여 회전 대칭의 힘 예측을 얻는다.
• 상호작용 블록의 깊이와 피처 맵 크기(F=64)를 고정하고, 잔차 연결을 통해 복잡한 다체 표현이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 SchNet이 평형 분자 데이터셋(QM9)에서 에너지 예측의 최첨단 성능을 달성할 수 있는가?
• RQ2 SchNet은 분자 동역학 궤적(MD17)에서의 에너지와 힘 예측 및 화학적으로 다양한 구조 변화를 보이는 데이터(ISO17)에 대해 얼마나 잘 예측하는가?
• RQ3 힘으로 학습하는 것이 에너지 만 학습했을 때에 비해 화학 공간 전반의 일반화를 향상시키는가?
• RQ4 학습된 에너지 표면이 매끄럽고 에너지 보존을 가지며 회전 불변성과 병진 불변이 보존되는가?
• RQ5 단일 통합 모델이 여러 분자의 화학적 및 구성 변화를 모두 표현할 수 있는가?

주요 결과

N	SchNet	DTNN [ 20 ]	enn-s2s [ 21 ]	enn-s2s-ens5 [ 21 ]
50,000	0.59	0.94	–	–
100,000	0.34	0.84	–	–
110,462	0.31	–	0.45	0.33

• SchNet은 QM9 에너지 예측에서 평균 절대 오차가 0.31 kcal/mol에 도달하는 최첨단 성능을 달성하며 110k 훈련 예제에서 달성한다.
• MD17에서 에너지만 학습한 경우와 에너지+힘을 학습한 경우가 GDML 및 DTNN과 비교하여 여러 궤적에서 경쟁력 있거나 우수한 에너지 및 힘 예측을 보이며, 특히 더 큰 학습 세트에서 두드러진다.
• 힘으로 학습하는 것이 MD17에서 예측 성능을 크게 향상시키며 특히 탄력적인 분자에 대해 크게 개선되며 SchNet은 더 큰 분자 및 데이터셋으로도 확장 가능성을 유지한다.
• ISO17에서 SchNet은 알려진 분자에 대해 화학적 정확도를 달성하고 힘으로 학습했을 때 일반화가 향상되며 화학적 및 구성 변화를 모두 처리한다.
• QM9, MD17, ISO17 전반에 걸쳐 SchNet은 매끄럽고 에너지 보존이 있는 힘장을 생성하고 에너지 예측은 회전 불변성을 가지며 양자화학 원칙에 부합함을 보여준다.