[논문 리뷰] Hyperactive Learning (HAL) for Data-Driven Interatomic Potentials

van der Oord, Matthias Sachs외 3명|arXiv (Cornell University)|2022. 10. 09.

Machine Learning in Materials Science인용 수 9

한 줄 요약

이 논문은 베이지안 회귀에서 추정한 불확실성에 기반해 분자역학 시뮬레이션을 고불확실성 상태로 향하게 함으로써 데이터 기반의 원자간 잠재에너지 훈련을 가속화하는 Hyperactive Learning (HAL) 프레임워크를 소개한다. HAL은 AlSi10 합금의 경우 단 88개의 구성으로 훈련 데이터를 줄이며, 고체 상태 전이 온도와 폴리에틸렌 금속(PEG)의 밀도 예측을 매우 적은 훈련 데이터로 정확하게 수행할 수 있어 표준 샘플링 방법에 비해 뚜렷이 뛰어나다.

ABSTRACT

Data-driven interatomic potentials have emerged as a powerful class of surrogate models for {\it ab initio} potential energy surfaces that are able to reliably predict macroscopic properties with experimental accuracy. In generating accurate and transferable potentials the most time-consuming and arguably most important task is generating the training set, which still requires significant expert user input. To accelerate this process, this work presents ext{\it hyperactive learning} (HAL), a framework for formulating an accelerated sampling algorithm specifically for the task of training database generation. The key idea is to start from a physically motivated sampler (e.g., molecular dynamics) and add a biasing term that drives the system towards high uncertainty and thus to unseen training configurations. Building on this framework, general protocols for building training databases for alloys and polymers leveraging the HAL framework will be presented. For alloys, ACE potentials for AlSi10 are created by fitting to a minimal HAL-generated database containing 88 configurations (32 atoms each) with fast evaluation times of <100 microsecond/atom/cpu-core. These potentials are demonstrated to predict the melting temperature with excellent accuracy. For polymers, a HAL database is built using ACE, able to determine the density of a long polyethylene glycol (PEG) polymer formed of 200 monomer units with experimental accuracy by only fitting to small isolated PEG polymers with sizes ranging from 2 to 32.

연구 동기 및 목표

• 데이터 기반의 원자간 잠재에너지 훈련을 위한 훈련 데이터베이스 생성에 소요되는 높은 계산 비용과 전문가 의존도를 해결하기 위해.
• 표준 분자역학 샘플링의 한계를 극복하기 위해, 결함과 전이 상태와 같은 고에너지 상태를 충분히 샘플링하지 못하는 문제를 해결하기 위해.
• 정보성 있는 구성의 발견을 가속화하는 체계적인, 활동 학습 기반의 프레임워크를 개발하기 위해.
• 합금과 폴리머와 같은 복잡한 시스템에 대해 매우 적은 훈련 데이터로도 정확하고 이식 가능한 원자간 잠재에너지 모델을 가능하게 하기 위해.

제안 방법

• 베이지안 회귀에서 추정한 예측 불확실성이 높은 구성으로 향하게 하는 편향 항을 분자역학에 도입한다.
• 가우스 프로세스 회귀 또는 베이지안 릿지 회귀에서 추정한 불확실성 정보를 활용해 잠재에너지 표면의 미탐색 영역으로 탐색을 유도한다.
• 원자 클러스터 확장(ACE) 프레임워크를 사용해 원자간 잠재에너지 모델의 아키텍처를 구성한다.
• 자동 관련 결정(ARD)을 적용해 불필요한 기저 함수를 제거하고 모델의 일반화 능력을 향상시킨다.
• 증거 최대화 기법을 사용해 베이지안 모델의 하이퍼파rameter를 최적화함으로써 견고한 불확실성 정량화를 보장한다.
• 불확실성이 임계값을 초과할 경우에만 새로운 구성이 훈련 세트에 추가되는 피드백 루프를 구현하여 효율적인 데이터 수집을 보장한다.

실험 결과

연구 질문

• RQ1 불확실성 기반 샘플링이 정확한 원자간 잠재에너지 모델을 훈련하기 위해 필요한 아비니시 계산의 수를 크게 줄일 수 있는가?
• RQ2 고불확실성 영역으로 향하는 분자역학의 편향이 결함과 전이 상태와 같은 핵심 구성의 커버리지 향상에 어떻게 기여하는가?
• RQ3 HAL로 훈련된 모델이 매우 적은 훈련 데이터로도 폴리머나 합금과 같은 복잡한 시스템으로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 작은, 수동으로 코딩된 데이터베이스로도 HAL이 융합된 매크로스코픽 성질인 융해 온도와 밀도 예측에서 실험 정밀도를 달성할 수 있는가?
• RQ5 베이지안 불확실성과 분자역학 시뮬레이션의 통합이 잠재에너지 훈련의 효율성과 신뢰성 향상에 어떻게 기여하는가?

주요 결과

• AlSi10 합금에 대해 단 88개의 구성으로 생성된 HAL 데이터베이스는 원자당 100μs 이내의 평가 시간으로 실험 정밀도 이내의 융해 온도 예측을 달성했다.
• HAL 프레임워크는 단지 소규모 고립된 PEG 조각(2~32 단위체)에만 맞추어도 200단위의 폴리에틸렌 금속(PEG) 사슬의 밀도를 정확하게 예측할 수 있었다.
• 불확실성 기반 편향을 사용함으로써 광범위한 무작위 샘플링이 필요로 하는 양을 줄였고, 고에너지 상태와 같은 핵심 구성의 발견을 가속화했다.
• 자동 관련 결정(ARD)을 적용한 베이지안 릿지 회귀는 표준 정규화된 회귀보다 정확도와 데이터 효율성 측면에서 뛰어난 희소하고 일반화 능력이 뛰어난 모델을 가능하게 했다.
• 이 프레임워크는 베이지안 모델에서 도출된 불확실성 정량화가 활동적 샘플링을 효과적으로 이끌 수 있음을 보여주었으며, 물리적으로 비합리적인 에너지 최소점 회피와 함께 모델 안정성 향상을 이뤘다.
• HAL 프레임워크는 다양한 물질 계열에서 모델 정확도를 유지하거나 향상시키면서도 훈련 데이터 생성의 시간과 계산 비용을 크게 줄였다.