[논문 리뷰] Gaussian Processes with Spectral Delta kernel for higher accurate Potential Energy surfaces for large molecules

Rodrigo A. Vargas–Hernández, Jake R. Gardner|arXiv (Cornell University)|2021. 09. 28.

Calibration and Measurement Techniques인용 수 4

한 줄 요약

이 논문은 고차원 위치 에너지 표면(PES)의 보간에서 정확도를 향상시키기 위해 보흐너의 정리(Bochners' theorem)를 활용한 새로운 스펙트럼 델타 커널(k_SD)을 제안한다. 로그-마진럴 리크리프티드 likelihood를 최적화하고, GPU 가속을 지원하는 GPyTorch와 KEOPS를 활용함으로써, 벤젠과 아스피린과 같은 큰 분자에서 15,000~20,000개의 학습 포인트만으로도 전역 오차가 0.06 kcal/mol 미만인 결과를 도출하며, GDML 및 DTNN과 같은 최신 기술들을 능가한다.

ABSTRACT

The interpolation of high-dimensional potential energy surfaces (PESs) is commonly done with physically-inspired deep-neural network models. In this work, we illustrate that Gaussian Processes (GPs) are also capable of interpolating high-dimensional complex physical systems. The accuracy of GPs depends on the robustness of the kernel function, and a boost in the accuracy is achieved by linearly combining kernel functions. In this work, we proposed an alternative route by parametrizing the kernel function through Bochners' theorem. We interpolated the PES of various chemical systems achieving a global accuracy of < 0.06 kcal/mol for Benzene, Malonaldehyde, Ethanol, and protonated Imidazole dimer using only 15 000 training points. Additionally, for Aspirin, we achieved a global error of 0.063 kcal/mol with 20 000 points. Given these results, we believe this kernel function is system-agnostic and could allow GPs to tackle a wider variety of high-dimensional physical systems.

연구 동기 및 목표

• 고차원 위치 에너지 표면(PES) 보간에 더 정확하고 강력한 커널 함수를 개발하기 위해.
• 복잡한 분자 체계에서 확장성과 정확도 측면에서 전통적인 커널 조합 방법의 한계를 극복하기 위해.
• 현대 딥러닝 라이브러리와 GPU 가속을 활용하여 저랭크 근사(예: 니스트롬 근사) 없이 전체 GP 학습을 가능하게 하기 위해.
• 스펙트럼 델타 커널을 갖춘 가우시안 프로세스가 딥 네트워크 및 기울기 도메인 모델과 비교해 최신 기술 수준의 정확도를 달성할 수 있음을 보여주기 위해.
• 양자 화학 분야에서 PES 모델링을 위한 체계에 종속되지 않고 확장 가능하며, 불확실성 정량화가 가능한 프레임워크를 구축하기 위해.

제안 방법

• 보흐너의 정리에서 유도된 스펙트럼 델타 커널(k_SD)을 제안하며, 스펙트럼 밀도 함수를 통해 커널을 매개변수화한다.
• 커널 하이퍼파rameter, 특히 스펙트럼 폭 |δ|를 최적화하기 위해 로그-마진럴 리크리프티드 likelihood를 목적 함수로 사용한다.
• GPyTorch와 KEOPS 라이브러리를 활용하여 GPU에서 효율적인 전체 GP 학습을 수행하며, 니스트롬 근사를 피한다.
• 벤젠(61D), 아스피린(57D), 프로톤화된 이미다졸 이량체(51D) 등 다양한 분자의 고차원 PES에 커널을 적용한다.
• 큰 PES를 조각으로 나누고 별도의 GP를 학습시켜 고차원 체계에서 특히 전역 정확도를 향상시킨다.
• GDML 및 DTNN 기준과 비교하여 평균 절대 오차(MAE)와 근미제곱오차(RMSE)를 사용해 성능을 검증한다.

실험 결과

연구 질문

• RQ1 보흐너의 정리에서 유도된 커널 함수가 고차원 위치 에너지 표면의 보간 정확도를 크게 향상시킬 수 있는가?
• RQ2 표준 커널 조합 및 기울기 도메인 기계학습(GDML)과 비교해 스펙트럼 델타 커널의 예측 정확도와 데이터 효율성은 어떠한가?
• RQ3 최소 오차를 달성하기 위해 학습 포인트 수와 스펙트럼 폭 |δ| 사이의 최적 관계는 무엇인가?
• RQ4 저랭크 공분산 근사 없이도 큰 분자 체계(예: 50개 이상의 차원)에서 전체 가우시안 프로세스 회귀를 효율적으로 학습시킬 수 있는가?
• RQ5 스펙트럼 델타 커널이 고차원성과 복잡한 위치 에너지 경로를 가진 다양한 분자 체계에 대해 얼마나 일반화 가능한가?

주요 결과

• 벤젠, 말로날데히드, 에탄올, 프로톤화된 이미다졸 이량체에 대해 15,000개의 학습 포인트만으로도 스펙트럼 델타 커널(k_SD)이 전역 RMSE 0.06 kcal/mol을 달성했다.
• 아스피린(57D)의 경우 20,000개의 학습 포인트로 전역 MAE 0.063 kcal/mol을 기록했으며, GDML 및 DTNN을 능가했다.
• 18,000개의 학습 포인트와 |δ| = 5,000 조건에서 말로날데히드의 MAE는 3.05 meV였고, GDML(3.3 meV)보다 0.35 meV 더 정확했다.
• 벤젠의 경우 |δ| ≥ 1,000 이고 N = 10,000일 때 MAE < 1 meV(~0.023 kcal/mol)를 달성하여, 1 kcal/mol 이하의 정확도를 입증했다.
• 최적의 |δ|는 [N/3, N/2] 범위 내에 위치하며, 5,000개 이상의 학습 포인트를 가진 체계에서 |δ|가 5,000를 초과할수록 정확도가 향상됨을 관찰했다.
• GPyTorch와 KEOPS를 사용한 GPU 가속을 통해, 니스트롬 근사를 사용하지 않고도 50개 이상의 차원을 가진 PES에 대해 정확한 전체 GP 학습이 가능하다.