[논문 리뷰] Machine learning modeling of high entropy alloy: the role of short-range order

Xianglin Liu, Jiaxin Zhang외 2명|arXiv (Cornell University)|2019. 06. 07.

High Entropy Alloys Studies참고 문헌 27인용 수 10

한 줄 요약

이 논문은 고 엔트로피 합금(High Entropy Alloy, HEA) 모델링에서 데이터의 대표성을 향상시키기 위해 국소적 순서(Short-Range Order, SRO) 매개변수를 사용하여 구성 공간을 샘플링하는 기계학습 프레임워크를 제안한다. SRO 기반 특징을 사용해 DFT로 계산된 에너지를 기반으로 선형 회귀 모델을 훈련시킴으로써, NbMoTaW HEA에서 R² 점수가 0.997이고, 평균 제곱근 오차가 0.43 meV에 도달하여 높은 예측 정확도와 강건성을 입증하였으며, 물리적 제약 조건이 없는 신경망의 과적합 위험성을 부각시켰다.

ABSTRACT

The development of machine learning sheds new light on the traditionally complicated problem of thermodynamics in multicomponent alloys. Successful application of such a method, however, strongly depends on the quality of the data and model. Here we propose a scheme to improve the representativeness of the data by utilizing the short-range order (SRO) parameters to survey the configuration space. Using the improved data, a pair interaction model is trained for the NbMoTaW high entropy alloy using linear regression. Benefiting from the physics incorporated into the model, the learned effective Hamiltonian demonstrates excellent predictability over the whole configuration space. By including pair interactions within the 6th nearest-neighbor shell, this model achieves an $R^2$ testing score of 0.997 and root mean square error of 0.43 meV. We further perform a detailed analysis on the effects of training data, testing data, and model parameters. The results reveal the vital importance of representative data and physical model. On the other hand, we also examined the performance neural networks, which is found to demonstrate a strong tendency to overfit the data.

연구 동기 및 목표

• 기계학습을 통한 고 엔트로피 합금(HEA) 모델링에서 데이터의 대표성이 부족한 문제를 해결하기 위해.
• 다성분 HEA의 광범위한 구성 공간을 효과적으로 샘플링하기 위해 국소적 순서(SRO) 매개변수를 물리적 지표로 사용하여 데이터 분포를 안내하기 위해.
• 전체 구성 공간에서 높은 정확도를 유지하는 NbMoTaW HEA의 구성 에너지 예측 기계학습 모델을 개발하기 위해.
• 효용성 쌍 상호작용 기반 선형 회귀 모델과 신경망 간의 성능을 비교하여, 과적합을 방지하기 위해 물리적 제약 조건이 중요한 이유를 강조하기 위해.

제안 방법

• 1024-원자 슈퍼셀을 사용하여 시뮬레이션 냉각을 통해 다양한 SRO 매개변수 값을 갖는 NbMoTaW HEA의 DFT 계산 총 에너지를 훈련 데이터로 사용한다.
• SRO 매개변수를 국소 화학적 순서를 나타내는 특징으로 사용하여 구성 공간의 체계적이고 균일한 샘플링을 가능하게 한다.
• 일반 최소 제곱법을 사용하여 SRO 매개변수를 구성 에너지로 매핑하는 선형 회귀 모델을 훈련시키며, 6번째 이웃자리까지의 효과적 쌍 상호작용을 포함한다.
• 신경망은 1000 에포크 동안 역전파와 적응형 학습률, 미니배치 최적화를 사용하여 훈련시켜 일반화 성능를 비교한다.
• 모델의 예측 능력을 독립된 테스트 세트를 사용하여 평가하여 교차 검증에서 흔히 발생하는 데이터 泄漏를 방지한다.
• DFT 계산에는 LSMS 방법을 사용하며, 각도 운동량 截 截단 l=3과 59원자 국소 상호작용 영역을 설정하여 무거운 원소에 대한 정확도를 확보한다.

실험 결과

연구 질문

• RQ1 SRO 매개변수는 고 엔트로피 합금의 기계학습 모델에서 훈련 데이터의 대표성을 향상시키는 데 효과적으로 활용될 수 있는가?
• RQ2 특히 효과적 쌍 상호작용을 포함한 물리 원리를 통합할 경우, HEA 시스템의 기계학습 모델의 예측 정확도와 일반화 능력은 어떻게 향상되는가?
• RQ3 모델 아키텍처 선택(선형 회귀 대비 신경망)이 HEA 에너지 예측에서 과적합과 일반화에 얼마나 큰 영향을 미치는가?
• RQ4 교차 검증은 HEA 기계학습 모델의 진정한 일반화 오차를 신뢰할 수 있게 추정하는가, 아니면 과도하게 낙관적인 성능 추정을 유도하는가?

주요 결과

• SRO 기반 데이터 샘플링 전략은 구성 공간의 균일한 커버리지에 성공하여 데이터의 대표성을 크게 향상시켰다.
• 효용성 쌍 상호작용 기반 선형 회귀 모델은 R² 테스트 점수 0.997과 평균 제곱근 오차 0.43 meV를 기록하여 뛰어난 예측 정확도를 입증하였다.
• 신경망은 물리적 제약 조건이 아키텍처에 명시적으로 포함되지 않은 경우 훈련 데이터에 과적합하는 경향을 보였다.
• 교차 검증은 진정한 일반화 오차를 체계적으로 과소평가하여, 독립된 테스트 세트가 신뢰할 수 있는 모델 평가를 위해 필수적임을 시사한다.
• SRO 매개변수와 쌍 상호작용과 같은 물리 원리를 모델 설계에 통합할 경우, 순수 데이터 기반 신경망보다 더 강건하고 일반화 능력이 뛰어난 모델이 도출된다.
• Lasso 및 릿지 회귀와 같은 정규화 기법은 성능에 미미한 영향을 미치며, 이는 모델 성공의 주요 원인이 하이퍼파rameter 튜닝이 아니라 데이터 품질과 물리적 일관성임을 시사한다.