[论文解读] Particle Swarm Based Hyper-Parameter Optimization for Machine Learned Interatomic Potentials

Suresh Kondati Natarajan, A. Miguel|arXiv (Cornell University)|Dec 31, 2020

Machine Learning in Materials Science参考文献 33被引用 5

一句话总结

该论文提出了一种两步粒子群优化（PSO）框架，用于基于机器学习的原子间势（ML-PES）中的超参数调优，采用SOAP描述符和高斯过程回归（GAP）。通过先优化特征提取超参数（SOAP），再优化训练超参数（GAP），该方法在保持最先进精度的同时降低了计算成本，在仅使用1,000个训练分子的QM9数据集上实现了64.5 meV/molecule的平均绝对误差。

ABSTRACT

Modeling non-empirical and highly flexible interatomic potential energy surfaces (PES) using machine learning (ML) approaches is becoming popular in molecular and materials research. Training an ML-PES is typically performed in two stages: feature extraction and structure-property relationship modeling. The feature extraction stage transforms atomic positions into a symmetry-invariant mathematical representation. This representation can be fine-tuned by adjusting on a set of so-called "hyper-parameters" (HPs). Subsequently, an ML algorithm such as neural networks or Gaussian process regression (GPR) is used to model the structure-PES relationship based on another set of HPs. Choosing optimal values for the two sets of HPs is critical to ensure the high quality of the resulting ML-PES model. In this paper, we explore HP optimization strategies tailored for ML-PES generation using a custom-coded parallel particle swarm optimizer (available freely at https://github.com/suresh0807/PPSO.git). We employ the smooth overlap of atomic positions (SOAP) descriptor in combination with GPR-based Gaussian approximation potentials (GAP) and optimize HPs for four distinct systems: a toy C dimer, amorphous carbon, $α$-Fe, and small organic molecules (QM9 dataset). We propose a two-step optimization strategy in which the HPs related to the feature extraction stage are optimized first, followed by the optimization of the HPs in the training stage. This strategy is computationally more efficient than optimizing all HPs at the same time by means of significantly reducing the number of ML models needed to be trained to obtain the optimal HPs. This approach can be trivially extended to other combinations of descriptor and ML algorithm and brings us another step closer to fully automated ML-PES generation.

研究动机与目标

• 为解决机器学习原子间势（ML-PES）中超参数优化的挑战，该挑战显著影响模型的精度与效率。
• 降低在多个阶段（特征提取与模型训练）同时进行超参数优化所带来的计算负担。
• 开发一种可扩展、自动化的流程，以最小的人工干预生成高精度的ML-PES。
• 在多种体系上验证该方法：一个C-二聚体、非晶碳、α-Fe以及QM9数据集。
• 证明在给定训练集上优化的超参数在应用于同一数据集时可实现更优性能。

提出的方法

• 实现并免费发布了自定义并行粒子群优化器（PPSO），以支持随机超参数搜索。
• 两步策略首先通过最大化核分布方差并最小化偏度，来优化SOAP超参数（如截断半径、宽度参数）。
• 随后通过在测试集上最小化均方根误差（RMSE），优化GAP超参数（如核长度尺度、正则化参数）。
• 通过仅保留奇异值最小的450个分量，对SOAP描述符进行压缩，以在降低计算成本的同时保持精度。
• 采用固定且较小的SOAP基组（n_max = l_max = 4），以减少维度和计算成本。
• 验证在四个体系上进行：一个C-二聚体、非晶碳、α-Fe以及QM9数据集，以DFT作为参考方法。

实验结果

研究问题

• RQ1 两步超参数优化策略是否能减少所需机器学习模型评估次数，同时保持或提升模型精度？
• RQ2 基于核分布统计量（方差与偏度）优化SOAP超参数，是否能带来后续GAP模型性能的提升？
• RQ3 使用小规模SOAP基组（n_max = l_max = 4）能否产生与更大基组性能相当的GAP模型？
• RQ4 在小规模训练集上优化的超参数用于更大规模训练集时，是否存在迁移性差距？
• RQ5 所提出的基于PSO的框架是否可推广至SOAP和GAP之外的其他描述符与机器学习架构？

主要发现

• 两步优化策略显著减少了所需GAP模型训练次数，与联合优化相比大幅降低了计算成本。
• 在QM9数据集上，该方法仅使用1,000个训练分子和小规模SOAP基组（n_max = l_max = 4），即实现了64.5 meV/molecule的平均绝对误差（MAE）。
• 当在100个分子上优化的超参数应用于1,000个分子的训练集时，MAE上升至84.3 meV/molecule，表明超参数必须根据训练集大小单独调优。
• 在100个分子的测试集上使用100个分子优化的超参数集，MAE达到313 meV/molecule，证实超参数对数据规模敏感，不应直接迁移。
• 压缩后的SOAP描述符（450个分量）在降低计算成本的同时保持了模型质量，表明维度压缩在不造成显著精度损失的前提下是可行的。
• 该方法在多种体系（包括复杂材料和有机分子）中实现了与现有文献基准相当或更优的性能，证明了其有效性。