[논문 리뷰] Particle Swarm Based Hyper-Parameter Optimization for Machine Learned Interatomic Potentials

Suresh Kondati Natarajan, A. Miguel|arXiv (Cornell University)|2020. 12. 31.

Machine Learning in Materials Science참고 문헌 33인용 수 5

한 줄 요약

이 논문은 기계학습 기반의 원자 간 잠재에너지함수(ML-PES)의 초기화수 조정을 위해 두 단계로 나누어 입자군집최적화(PSO) 프레임워크를 제안한다. SOAP 기반 기술자와 가우시안 프로세스 회귀(GAP)를 사용하며, 먼저 특성 추출 초깃수 조정(소포)을 최적화하고 나서 모델 학습 초깃수 조정(GAP)을 최적화함으로써 계산 비용을 줄이고 최신 기술 수준의 정확도를 달성한다. QM9 데이터셋에서 1,000개의 학습 분자만을 사용하여 평균 절대 오차가 64.5 meV/molecule에 도달한다.

ABSTRACT

Modeling non-empirical and highly flexible interatomic potential energy surfaces (PES) using machine learning (ML) approaches is becoming popular in molecular and materials research. Training an ML-PES is typically performed in two stages: feature extraction and structure-property relationship modeling. The feature extraction stage transforms atomic positions into a symmetry-invariant mathematical representation. This representation can be fine-tuned by adjusting on a set of so-called "hyper-parameters" (HPs). Subsequently, an ML algorithm such as neural networks or Gaussian process regression (GPR) is used to model the structure-PES relationship based on another set of HPs. Choosing optimal values for the two sets of HPs is critical to ensure the high quality of the resulting ML-PES model. In this paper, we explore HP optimization strategies tailored for ML-PES generation using a custom-coded parallel particle swarm optimizer (available freely at https://github.com/suresh0807/PPSO.git). We employ the smooth overlap of atomic positions (SOAP) descriptor in combination with GPR-based Gaussian approximation potentials (GAP) and optimize HPs for four distinct systems: a toy C dimer, amorphous carbon, $α$-Fe, and small organic molecules (QM9 dataset). We propose a two-step optimization strategy in which the HPs related to the feature extraction stage are optimized first, followed by the optimization of the HPs in the training stage. This strategy is computationally more efficient than optimizing all HPs at the same time by means of significantly reducing the number of ML models needed to be trained to obtain the optimal HPs. This approach can be trivially extended to other combinations of descriptor and ML algorithm and brings us another step closer to fully automated ML-PES generation.

연구 동기 및 목표

• 기계학습 기반의 원자 간 잠재에너지함수(ML-PES)에서 초깃수 최적화의 과제를 해결함으로써 모델의 정확도와 효율성에 영향을 미친다.
• 다양한 단계(특성 추출 및 모델 학습)에서 동시에 초깃수 최적화를 수행할 경우 발생하는 계산 부담을 줄인다.
• 최소한의 사용자 간섭으로도 고정밀도의 ML-PES를 생성할 수 있는 확장 가능하고 자동화된 워크플로우를 개발한다.
• 다양한 시스템에서 방법의 유효성을 검증한다: C-디머, 비정질 탄소, α-Fe, QM9 데이터셋.
• 특정 학습 세트에 최적화된 초깃수는 동일한 데이터 세트에 적용했을 때 뛰어난 성능을 보임을 입증한다.

제안 방법

• 스토케스틱한 초깃수 검색을 가능하게 하기 위해 사용자 정의 병렬 입자군집최적화기(PPSO)를 구현하고 무료로 공개한다.
• 두 단계 전략은 먼저 커널 분포 분산을 최대화하고 왜도를 최소화함으로써 SOAP 초깃수 조정(예: 截斷 반경, 너비 파라미터)을 최적화한다.
• 다음으로, 테스트 세트에서의 평균 제곱 오차(RMSE)를 최소화함으로써 GAP 초깃수 조정(예: 커널 길이 척도, 정규화)을 최적화한다.
• SOAP 기술자를 유지하는 데 있어 특이값이 가장 낮은 450개의 성분만을 보존함으로써 압축함으로써 정확도를 유지하면서 계산 비용을 줄인다.
• 차원을 줄이고 계산 비용을 낮추기 위해 고정된 작고 작은 SOAP 기저(n_max = l_max = 4)를 사용한다.
• 검증은 네 가지 시스템에서 수행된다: C-디머, 비정질 탄소, α-Fe, QM9 데이터셋이며, 기준 방법으로 DFT를 사용한다.

실험 결과

연구 질문

• RQ1 두 단계 초깃수 최적화 전략은 모델 평가 횟수를 줄이면서도 정확도를 유지하거나 향상시킬 수 있는가?
• RQ2 커널 분포 통계치(분산 및 왜도)를 기반으로 SOAP 초깃수 조정을 최적화하면 이후 GAP 모델 성능이 향상되는가?
• RQ3 작은 SOAP 기저(n_max = l_max = 4)로도 더 큰 기저와 비교해 유사한 성능을 보이는 GAP 모델을 생성할 수 있는가?
• RQ4 작은 학습 세트에서 최적화된 초깃수를 더 큰 학습 세트에 적용할 경우 이식성 격차가 발생하는가?
• RQ5 제안된 PSO 기반 프레임워크는 SOAP과 GAP를 초월해 다른 기술자와 기계학습 아키텍처로 일반화될 수 있는가?

주요 결과

• 두 단계 최적화 전략은 GAP 모델 학습 실행 횟수를 줄여, 공동 최적화에 비해 계산 비용을 크게 낮췄다.
• QM9 데이터셋에서 이 방법은 단지 1,000개의 학습 분자와 작은 SOAP 기저(n_max = l_max = 4)를 사용하여 평균 절대 오차(MAE)가 64.5 meV/molecule에 도달했다.
• 100개의 분자에서 최적화된 초깃수를 1,000개의 분자 학습 세트에 적용했을 때, MAE는 84.3 meV/molecule로 증가하여 초깃수는 학습 세트 크기에 따라 조정되어야 함을 시사한다.
• 100개의 분자에서 최적화된 초깃수를 100개의 분자 테스트 세트에 적용했을 때 MAE는 313 meV/molecule로 나타나, 초깃수가 데이터 크기에 민감하며 이식되어서는 안 된다는 점을 확인했다.
• 압축된 SOAP 기술자(450개 성분)는 계산 비용을 줄였지만 정확도 손실 없이 모델 품질을 유지했으며, 차원 축소가 정확도 손실 없이 가능함을 보여주었다.
• 기존 문헌 기준치와 비교해 유사하거나 더 뛰어난 성능을 달성하여, 복잡한 재료와 유기 분자 포함 다양한 시스템에서의 효과성을 입증했다.