[论文解读] High-dimensional Bayesian Optimization of Hyperparameters for an Attention-based Network to Predict Materials Property: a Case Study on CrabNet using Ax and SAASBO

Sterling G. Baird, Marianne Liu+1 more|arXiv (Cornell University)|Mar 19, 2022

Machine Learning in Materials Science被引用 4

一句话总结

本研究在Ax平台中使用SAASBO和GPEI进行高维贝叶斯优化，以调整CrabNet（一种基于注意力机制的材料性质预测模型）的23个超参数。SAASBO在Matbench实验带隙回归任务中达到新的最先进水平，相较于现有最优模型，平均绝对误差降低了4.5%。

ABSTRACT

Expensive-to-train deep learning models can benefit from an optimization of the hyperparameters that determine the model architecture. We optimize 23 hyperparameters of a materials informatics model, Compositionally-Restricted Attention-Based Network (CrabNet), over 100 adaptive design iterations using two models within the Adaptive Experimentation (Ax) Platform. This includes a recently developed Bayesian optimization (BO) algorithm, sparse axis-aligned subspaces Bayesian optimization (SAASBO), which has shown exciting performance on high-dimensional optimization tasks. Using SAASBO to optimize CrabNet hyperparameters, we demonstrate a new state-of-the-art on the experimental band gap regression task within the materials informatics benchmarking platform, Matbench (~4.5% decrease in mean absolute error (MAE) relative to incumbent). Characteristics of the adaptive design scheme as well as feature importances are described for each of the Ax models. SAASBO has great potential to both improve existing surrogate models, as shown in this work, and in future work, to efficiently discover new, high-performing materials in high-dimensional materials science search spaces.

研究动机与目标

• 探究在模型性能已达到最先进水平的情况下，超参数优化是否仍能进一步提升性能。
• 评估高维贝叶斯优化，特别是SAASBO，在材料性质预测深度学习模型调优中的有效性。
• 评估优化后的超参数是否能在不同材料性质或数据模态间实现泛化。
• 通过计算成本较高的模型建立材料信息学中超参数优化的基准。

提出的方法

• 使用Ax贝叶斯优化平台，结合两种模型：高斯过程期望改进（GPEI）和SAASBO。
• 采用SAASBO，一种高维贝叶斯优化算法，通过稀疏轴对齐子空间和对逆长度尺度的强先验来防止过拟合。
• 在包含4,604个基于成分的数据点的Matbench matbench_expt_gap数据集上，采用嵌套五折交叉验证方案。
• 优化CrabNet的23个超参数，包括初始学习率、层数、dropout率和训练轮数。
• 在GPEI中使用期望改进作为采集函数，并利用自动相关性确定（ARD）进行特征重要性估计。
• 执行100轮自适应设计迭代，初始阶段使用Sobol序列进行探索，随后由贝叶斯优化驱动优化。

实验结果

研究问题

• RQ1 在模型性能已达到最先进水平的情况下，超参数优化能在多大程度上进一步提升性能？
• RQ2 与经典贝叶斯优化相比，SAASBO在材料信息学模型的高维超参数空间中表现如何？
• RQ3 在提升CrabNet对实验带隙任务预测精度方面，哪些超参数最具影响力？
• RQ4 优化后的超参数是否能泛化到实验带隙以外的其他材料性质或数据类型？

主要发现

• SAASBO在Matbench实验带隙回归任务中实现了4.5%的平均绝对误差（MAE）相对降低，创下新的最先进水平。
• 在所有五个交叉验证折中，优化后的训练轮数均达到最大允许值（80），表明更长的训练有益，且未受早停机制限制。
• SAASBO在后期迭代中表现出对探索的强烈偏好，表明其在高维空间中对过拟合具有鲁棒性。
• 特征重要性分析显示，训练轮数是最具影响力的超参数，其次是初始学习率和dropout率。
• 采用Sobol初始化后接贝叶斯优化迭代的自适应设计方案，有效探索了高维超参数空间。
• 结果验证了SAASBO作为材料信息学中高效超参数优化的强大工具，具有在材料发现中更广泛应用的潜力。