[논문 리뷰] Tutorial: How to Train a Neural Network Potential

Alea Miako Tokita, Jörg Behler|PubMed|2023. 08. 17.

Machine Learning in Materials Science참고 문헌 59인용 수 4

한 줄 요약

이 튜토리얼은 데이터 생성, 모델 훈련, 철저한 검증을 통해 고차원 신경망 포텐셜(HDNNP)을 훈련하는 종합적이고 단계적인 가이드를 제공한다. 이 과정에서는 이동성 학습과 불확실성 정량화를 강조하여 이식성과 신뢰성을 확보한다. 주요 기여는 다양한 기계학습 포텐셜에 적용 가능한 검증되고 일반화 가능한 워크플로우를 제공한다는 점이다.

ABSTRACT

The introduction of modern Machine Learning Potentials (MLPs) has led to a paradigm change in the development of potential energy surfaces for atomistic simulations. By providing efficient access to energies and forces, they allow us to perform large-scale simulations of extended systems, which are not directly accessible by demanding first-principles methods. In these simulations, MLPs can reach the accuracy of electronic structure calculations, provided that they have been properly trained and validated using a suitable set of reference data. Due to their highly flexible functional form, the construction of MLPs has to be done with great care. In this Tutorial, we describe the necessary key steps for training reliable MLPs, from data generation via training to final validation. The procedure, which is illustrated for the example of a high-dimensional neural network potential, is general and applicable to many types of MLPs.

연구 동기 및 목표

• 대규모 원자적 시뮬레이션을 위한 정확하고 이식 가능한 기계학습 포텐셜(MLP)을 개발하는 데 도전하는 데에 대비하기 위해.
• 반복적 검증을 통해 신뢰성을 보장하는 체계적이고 재현 가능한 HDNNP 훈련 워크플로우를 제공하기 위해.
• 데이터 품질과 활성 학습이 부족하게 표현되거나 외삽되는 구성이 있는지 식별하는 데 있어 핵심적인 역할을 하도록 강조하기 위해.
• 불확실성 정량화와 독립된 모델을 이용한 교차 확인을 포함한 검증 절차의 계층을 수립하기 위해.
• 과적합을 방지하고 다양한 화학적 환경에서의 강건성을 보장하기 위해 MLP 개발의 최선의 실천 방식을 촉진하기 위해.

제안 방법

• 다양한 원자적 구성에 대해 고정도 전자구조 방법(예: DFT)을 사용하여 기준 데이터를 생성한다.
• 원자 중심 대칭 함수(ACSFs)를 비틀림, 회전, 순열 불변성을 유지하면서 局부 원자 환경을 인variant 기술자로 사용한다.
• 기준 데이터를 사용하여 원자 구성에서 에너지와 힘으로 매핑하기 위해 고차원 신경망 포텐셜(HDNNP)을 훈련한다.
• 훈련된 HDNNP를 사용하여 구성 공간의 탐색되지 않은 영역에서의 불확실성을 예측함으로써 활성 학습을 적용한다.
• 반복적으로 높은 불확실성을 가진 구성이 포함된 새로운 구성 데이터를 훈련 세트에 추가하여 커버리지 향상과 외삽 위험 감소를 도모한다.
• 다중 검증 절차를 통해 최종 모델를 검증한다: 에너지/힘 상관도 플롯, 구조 분석, 이방성 검토, 기준 DFT 데이터와의 직접 비교.

Figure 1 : Overview of the construction of a neural network potential.

실험 결과

연구 질문

• RQ1 신뢰할 수 있는 HDNNP를 훈련하기 위해 체계적으로 대표성 있고 다양한 기준 데이터 세트를 어떻게 생성할 수 있는가?
• RQ2 활성 학습은 HDNNP 훈련에서 커버리지 향상과 외삽 오차 감소에 어떤 역할을 하는가?
• RQ3 불확실성 정량화는 예측이 부족하거나 외삽되는 구성이 있는지 식별하기 위해 훈련 과정에 어떻게 통합될 수 있는가?
• RQ4 어떤 검증 절차가 다양한 화학적 환경과 구조적 무늬에서 정확성이 유지되는 HDNNP를 보장하는가?
• RQ5 독립적으로 훈련된 모델과 기준 데이터를 직접 비교함으로써 HDNNP의 성능을 어느 정도 검증할 수 있는가?

주요 결과

• 기준 데이터 세트의 품질이 HDNNP의 정확성과 이식성의 주요 결정 요소이며, 샘플링 부족은 신뢰할 수 없는 예측을 초래한다.
• 활성 학습은 구성 공간에서 높은 불확실성을 가진 영역를 효과적으로 식별하여 모델의 강건성을 향상시키기 위한 표적적 데이터 확보를 가능하게 한다.
• 훈련 데이터의 범위 내에 있지만 밀도가 낮은 영역(즉, '구멍')에 위치한 구조는 여전히 잘못 예측될 수 있으며, 이는 불확실성 정량화를 통해 탐지 가능하다.
• 에너지 및 힘 상관도 플롯은 효과적인 初期 진단 도구이며, 강한 상관관계는 신뢰할 수 있는 모델 행동을 나타낸다.
• 이방성 분석은 종종 데이터 세트의 문제, 예를 들어 일관성 부족이나 누락된 구성과 관련이 있으며, 이는 데이터 품질 제어의 중요성을 강조한다.
• 활성 학습, 불확실성 정량화, 기준 데이터와의 직접 비교를 포함한 완전한 검증 계층은 HDNNP가 대규모 시뮬레이션에 신뢰할 수 있도록 보장한다.

Figure 2 : Schematic structure of a second-generation high-dimensional neural network potential (HDNNP) Behler and Parrinello ( 2007 ) for the example of a lithium hydroxide ion pair in water (lithium: dark blue; oxygen: red; hydrogen: grey). First, the Cartesian coordinate vectors $\mathbf{R}_{i}^{