[论文解读] Investigation on Machine Learning Based Approaches for Estimating the Critical Temperature of Superconductors

Fatin Abrar Shams, Rashed Hasan Ratul+5 more|arXiv (Cornell University)|Aug 2, 2023

Machine Learning in Materials Science被引用 5

一句话总结

本研究提出了一种带有超参数优化的堆叠集成机器学习模型，利用超导体的化学和物理性质预测其临界温度（Tc）。该方法在测试中实现了9.68的均方根误差（RMSE）和0.922的决定系数（R2），优于单一模型，并在不同特征集和优化条件下表现出一致且稳定的性能。

ABSTRACT

Superconductors have been among the most fascinating substances, as the fundamental concept of superconductivity as well as the correlation of critical temperature and superconductive materials have been the focus of extensive investigation since their discovery. However, superconductors at normal temperatures have yet to be identified. Additionally, there are still many unknown factors and gaps of understanding regarding this unique phenomenon, particularly the connection between superconductivity and the fundamental criteria to estimate the critical temperature. To bridge the gap, numerous machine learning techniques have been established to estimate critical temperatures as it is extremely challenging to determine. Furthermore, the need for a sophisticated and feasible method for determining the temperature range that goes beyond the scope of the standard empirical formula appears to be strongly emphasized by various machine-learning approaches. This paper uses a stacking machine learning approach to train itself on the complex characteristics of superconductive materials in order to accurately predict critical temperatures. In comparison to other previous accessible research investigations, this model demonstrated a promising performance with an RMSE of 9.68 and an R2 score of 0.922. The findings presented here could be a viable technique to shed new insight on the efficient implementation of the stacking ensemble method with hyperparameter optimization (HPO).

研究动机与目标

• 为解决传统经验或理论模型在预测超导体临界温度（Tc）方面仍具挑战性的问题。
• 克服现有机器学习模型在不同特征集和超参数配置下表现不一致的局限性。
• 开发一种集成机器学习技术的稳健、稳定且高精度的Tc预测框架。
• 评估特征选择与超参数优化在提升模型泛化能力和性能方面的有效性。
• 提供一种可扩展且可靠的方法，通过缩小有希望的材料候选范围，加速高Tc超导体的发现。

提出的方法

• 本研究采用堆叠集成学习方法，通过元学习器结合多个基础回归器（如Ridge、Lasso、KNN、SVR、MLP）的预测结果，以提高预测精度。
• 采用随机搜索超参数优化（RandomizedSearchCV）对模型参数进行调优，以在不同配置下提升性能。
• 通过f回归法进行特征选择，将维度从81个减少至50个，评估在输入空间缩减情况下的模型稳定性。
• 模型在UCI超导数据集上进行训练与评估，该数据集包含81个超导材料的物理与化学特征及其对应的Tc值。
• 通过四种实验条件评估性能：使用全部特征与不使用超参数优化、使用缩减特征与不使用超参数优化，采用RMSE和R2分数作为评估指标。
• 堆叠模型使用元学习器（如元回归器）学习基础模型预测结果的最优组合，从而增强泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 与单一机器学习模型相比，带有超参数优化的堆叠集成模型是否能在预测超导体临界温度方面实现更优且更稳定的性能？
• RQ2 通过f回归法进行的特征降维在多大程度上影响了Tc预测模型的性能一致性与准确性？
• RQ3 超参数优化在多大程度上提升了不同机器学习模型在超导数据集上的预测性能？
• RQ4 堆叠集成方法是否能在不同输入特征集和优化状态下保持高性能，表明其具备鲁棒性与泛化能力？
• RQ5 与现有最先进方法相比，本研究提出的模型在Tc预测的RMSE与R2分数方面是否具有可量化的优越性？

主要发现

• 当使用全部81个特征并结合超参数优化时，堆叠集成模型实现了最低的RMSE（9.68）和最高的R2分数（0.922）。
• 即使在特征减少至50个后，堆叠模型仍保持强劲性能，RMSE为9.73，R2分数为0.9192，表现出一致的鲁棒性。
• 在所有测试条件下，堆叠模型均优于其他所有单一模型，包括KNN（RMSE: 10.356，R2: 0.9089）和SVR（RMSE: 14.4879，R2: 0.82104）。
• 超参数优化显著提升了所有模型的性能，尤其对Ridge和Lasso模型效果明显，其RMSE从约18.7降至约18.5。
• 堆叠模型在不同条件下的性能波动极小，表明其具有高度的稳定性与可靠性。
• 与先前研究相比，本研究模型的RMSE（9.68）更低，R2（0.922）更高，优于大多数现有方法，包括Hamidieh等人（RMSE: 9.5，R2: 0.920）和Li等人（RMSE: 83.565，R2: 0.899）。