[论文解读] Machine learning modeling of high entropy alloy: the role of short-range order

Xianglin Liu, Jiaxin Zhang+2 more|arXiv (Cornell University)|Jun 7, 2019

High Entropy Alloys Studies参考文献 27被引用 10

一句话总结

本文提出一种机器学习框架，通过使用短程有序（SRO）参数对高熵合金（HEA）建模中的配置空间进行采样，以提升数据的代表性。通过使用基于SRO的特征对DFT计算的能量进行线性回归模型训练，该方法在NbMoTaW HEA中实现了0.997的R²分数和0.43 meV的均方根误差，表现出极高的预测准确性和鲁棒性，同时突显了在缺乏物理约束的情况下神经网络存在过拟合的风险。

ABSTRACT

The development of machine learning sheds new light on the traditionally complicated problem of thermodynamics in multicomponent alloys. Successful application of such a method, however, strongly depends on the quality of the data and model. Here we propose a scheme to improve the representativeness of the data by utilizing the short-range order (SRO) parameters to survey the configuration space. Using the improved data, a pair interaction model is trained for the NbMoTaW high entropy alloy using linear regression. Benefiting from the physics incorporated into the model, the learned effective Hamiltonian demonstrates excellent predictability over the whole configuration space. By including pair interactions within the 6th nearest-neighbor shell, this model achieves an $R^2$ testing score of 0.997 and root mean square error of 0.43 meV. We further perform a detailed analysis on the effects of training data, testing data, and model parameters. The results reveal the vital importance of representative data and physical model. On the other hand, we also examined the performance neural networks, which is found to demonstrate a strong tendency to overfit the data.

研究动机与目标

• 为解决高熵合金（HEAs）机器学习建模中数据代表性不足的问题，该问题限制了模型的泛化能力。
• 通过使用短程有序（SRO）参数作为物理度量来指导数据分布，改进多组分HEAs中庞大配置空间的采样。
• 开发一种用于NbMoTaW HEA构型能的预测性机器学习模型，确保在整个配置空间中保持高精度。
• 比较基于有效配对相互作用的线性回归模型与神经网络的性能，强调在防止过拟合中物理约束的重要性。

提出的方法

• 本研究使用通过模拟退火生成的1024原子超胞中NbMoTaW HEA的DFT计算总能量作为训练数据，以实现多样的SRO参数值。
• SRO参数被用作特征以表示局部化学有序性，从而实现对配置空间的系统性和均匀采样。
• 使用普通最小二乘法训练线性回归模型，将SRO参数映射到构型能，其中有效配对相互作用延伸至第6近邻壳层。
• 通过反向传播、自适应学习率和小批量优化在1000个周期内训练神经网络，以比较泛化性能。
• 通过独立测试集评估模型的预测能力，避免交叉验证中常见的数据泄露问题。
• DFT计算采用LSMS方法，角动量截断l=3，并设置59原子局部相互作用区域，以确保对重元素的计算精度。

实验结果

研究问题

• RQ1 SRO参数能否有效用于提升高熵合金机器学习模型中训练数据的代表性？
• RQ2 在HEA系统中，将物理原理（特别是有效配对相互作用）纳入模型在多大程度上能提升预测准确性和泛化能力？
• RQ3 模型架构选择（线性回归与神经网络）在HEA能量预测中在多大程度上影响过拟合和泛化性能？
• RQ4 交叉验证能否可靠估计HEA机器学习模型的真实泛化误差，还是会导致性能估计过于乐观？

主要发现

• 基于SRO的数据采样策略成功实现了对配置空间的均匀覆盖，显著提升了数据代表性。
• 基于有效配对相互作用的线性回归模型在测试集上达到0.997的R²分数和0.43 meV的均方根误差，表明其具有极高的预测准确性。
• 神经网络在训练数据上表现出强烈的过拟合倾向，尤其是在模型结构中未显式编码物理约束时。
• 交叉验证系统性地低估了真实泛化误差，因此独立测试集对于可靠评估模型至关重要。
• 在模型设计中融入物理原理（如使用SRO参数和配对相互作用）可获得比纯数据驱动的神经网络更稳健、更具泛化能力的模型。
• 正则化技术（如Lasso和Ridge回归）对性能影响微乎其微，表明模型成功的主要驱动因素是数据质量和物理一致性，而非超参数调优。