[论文解读] Learning to extrapolate using continued fractions: Predicting the critical temperature of superconductor materials

Pablo Moscato, Mohammad Nazmul Haque+3 more|arXiv (Cornell University)|Nov 27, 2020

Machine Learning in Materials Science被引用 4

一句话总结

本文提出了一种新颖的多元回归方法——Spln-CFR，该方法将连分数与加法样条模型相结合，用于预测超导体的临界温度。在分布外泛化方面，其表现优于10种成熟的机器学习方法，尤其在高Tc材料的排序上表现更优，Spln-CFR的前几名预测平均值为103.64 K，而XGBoost仅为91.31 K，表明其在材料设计中具有更优的外推能力。

ABSTRACT

In the field of Artificial Intelligence (AI) and Machine Learning (ML), the approximation of unknown target functions $y=f(\mathbf{x})$ using limited instances $S={(\mathbf{x^{(i)}},y^{(i)})}$, where $\mathbf{x^{(i)}} \in D$ and $D$ represents the domain of interest, is a common objective. We refer to $S$ as the training set and aim to identify a low-complexity mathematical model that can effectively approximate this target function for new instances $\mathbf{x}$. Consequently, the model's generalization ability is evaluated on a separate set $T=\{\mathbf{x^{(j)}}\} \subset D$, where $T eq S$, frequently with $T \cap S = \emptyset$, to assess its performance beyond the training set. However, certain applications require accurate approximation not only within the original domain $D$ but also in an extended domain $D'$ that encompasses $D$. This becomes particularly relevant in scenarios involving the design of new structures, where minimizing errors in approximations is crucial. For example, when developing new materials through data-driven approaches, the AI/ML system can provide valuable insights to guide the design process by serving as a surrogate function. Consequently, the learned model can be employed to facilitate the design of new laboratory experiments. In this paper, we propose a method for multivariate regression based on iterative fitting of a continued fraction, incorporating additive spline models. We compare the performance of our method with established techniques, including AdaBoost, Kernel Ridge, Linear Regression, Lasso Lars, Linear Support Vector Regression, Multi-Layer Perceptrons, Random Forests, Stochastic Gradient Descent, and XGBoost. To evaluate these methods, we focus on an important problem in the field: predicting the critical temperature of superconductors based on physical-chemical characteristics.

研究动机与目标

• 为解决材料科学中机器学习模型在准确外推方面的挑战，特别是预测超出训练域的超导体临界温度（Tc）问题。
• 开发一种代理模型，通过识别具有高Tc的新型超导材料，指导实验设计。
• 通过在分子描述符中利用结构相似性，借助连分数框架提升对未见高Tc材料的泛化性能。
• 在域内和域外设置下，评估该方法相较于最先进机器学习技术的性能表现。

提出的方法

• 该方法使用连分数表示来建模目标函数f(x)，其中系数通过一种混合算法进行优化，以最小化均方误差。
• 通过引入加法样条模型，增强在化学-物理描述符高维输入空间中的灵活性和局部拟合能力。
• 模型使用已知Tc值和分子描述符的超导材料数据集进行训练，优化目标为最小化训练误差，同时保持泛化能力。
• 连分数结构能够实现输入特征的隐式非线性变换，使外推性能优于标准线性或核基模型。
• 将该方法与10种成熟的机器学习模型进行比较：AdaBoost、核岭回归、线性回归、Lasso Lars、线性SVR、MLP、随机森林、SGD、XGBoost以及基线CFR。
• 通过测试Tc值高于训练集的材料来评估分布外泛化性能，模拟真实世界材料发现场景。

(a) depth 3

实验结果

研究问题

• RQ1 基于连分数的回归模型是否能在预测超导体临界温度时，于训练域之外表现出优于标准机器学习模型的泛化能力？
• RQ2 加入加法样条组件如何影响模型对外推至高Tc材料的能力？
• RQ3 训练集中高Tc材料的结构相似性在多大程度上使模型能够泛化到更高Tc值？
• RQ4 与传统回归技术相比，Spln-CFR方法是否能为实验验证提供更可靠的高优先级材料预测？

主要发现

• 在所有11种测试方法中，Spln-CFR在泛化性能上表现最佳，在354个数据集中有192个的均方误差（MSE）优于其他所有方法。
• Spln-CFR对前20名材料的平均预测临界温度为103.64 K，与实际平均值103.64 K高度一致，表明其具有极强的预测准确性。
• XGBoost的MSE更低（约为Spln-CFR的三分之一），但其前20名预测的平均值仅为91.31 K，显著低估了高Tc材料。
• 线性回归和多层感知机（MLP）的前几名预测值均低于100 K，而实际前几名材料的Tc值在98–132.6 K之间，凸显了其外推性能差。
• 结果表明，Spln-CFR在分布外预测中的优异表现可能源于其利用了训练集中存在的高Tc材料的结构相似性。
• 研究表明，未来改进可考虑引入领域特定描述符，并采用改进的损失函数以更好地优先发现高Tc材料。

(b) depth 5