[论文解读] Importance of feature engineering and database selection in a machine learning model: A case study on carbon crystal structures

Franz M. Rohrhofer, Santanu Saha+4 more|arXiv (Cornell University)|Jan 30, 2021

Machine Learning in Materials Science被引用 4

一句话总结

本研究探讨了特征工程与数据库选择对预测碳晶胞结构总能量的机器学习性能的影响。通过使用具有简单、可解释特征（SGD、RDF、ADF）的核岭回归（KRR），作者表明模型性能强烈依赖于特征选择与数据库构成，最优结果通过系统性超参数调优与数据库子集选择实现，凸显了不同结构类型间性能不可迁移的特性。

ABSTRACT

Drive towards improved performance of machine learning models has led to the creation of complex features representing a database of condensed matter systems. The complex features, however, do not offer an intuitive explanation on which physical attributes do improve the performance. The effect of the database on the performance of the trained model is often neglected. In this work we seek to understand in depth the effect that the choice of features and the properties of the database have on a machine learning application. In our experiments, we consider the complex phase space of carbon as a test case, for which we use a set of simple, human understandable and cheaply computable features for the aim of predicting the total energy of the crystal structure. Our study shows that (i) the performance of the machine learning model varies depending on the set of features and the database, (ii) is not transferable to every structure in the phase space and (iii) depends on how well structures are represented in the database.

研究动机与目标

• 探讨特征工程与数据库构成对预测碳晶胞结构总能量的机器学习模型性能的影响。
• 评估不同特征（SGD、RDF 与 ADF）对模型泛化能力与准确率的影响。
• 确定模型性能在碳相空间中不同结构类型之间是否具有可迁移性。
• 通过系统性网格搜索与交叉验证，确定最优超参数与特征组合。
• 为构建在凝聚 matter 系统中稳健且可解释的机器学习模型提供实用指导。

提出的方法

• 本研究采用核岭回归（KRR）作为预测碳晶胞结构总能量的机器学习模型。
• 特征包括简单且具有物理可解释性的描述符：短程有序度（SGD）、径向分布函数（RDF）与角分布函数（ADF）。
• 通过 5 折交叉验证，对超参数（正则化参数 σ 与核系数 γ）进行网格搜索以优化模型性能。
• 使用包含 11,500 个碳结构的 MHM+RS 数据库，并进一步将数据子集划分为 Cluster 1（松散、以 sp² 为主）与 Cluster 2（致密、以 sp³ 为主）以测试泛化能力。
• 通过归一化特征向量之间的欧氏距离验证特征唯一性；非零距离确认了特征的唯一性。
• 模型训练与预测使用 Python 实现，基于 Scikit-learn，特征提取耗时约 15 分钟（单核处理器）。

实验结果

研究问题

• RQ1 不同特征集（SGD、RDF、ADF）如何影响机器学习模型对碳晶胞总能量的预测性能？
• RQ2 训练数据库的构成与表征在多大程度上影响模型的泛化能力与准确率？
• RQ3 训练好的模型在碳相空间中不同结构类型之间的性能是否具有可迁移性？
• RQ4 KRR 模型在不同特征与数据库配置下，最优超参数组合（σ 与 γ）为何？
• RQ5 特征分布与结构聚类（如 Cluster 1 与 Cluster 2）如何与模型性能相关联？

主要发现

• 模型性能显著依赖于特征选择与数据库构成，不存在对所有情况均最优的单一组合。
• ADF 特征的最优分箱大小为 Δθ = 15°，平滑参数 σ_ADF = 15°，在 0°–180° 范围内共生成 12 个分箱。
• 当与 SGD+RDF+ADF 特征结合时，MHM+RS 数据库在 5 折交叉验证中实现了最低的均方误差。
• 性能在不同结构类型之间不可迁移：在 Cluster 1 结构上训练的模型在 Cluster 2 上表现差，反之亦然。
• 特征唯一性得到验证，所有归一化特征向量之间的成对欧氏距离均非零，确保了特征表示的唯一性。
• 本研究表明，数据库表征质量——尤其是结构类型的覆盖程度——直接影响模型的泛化能力与预测准确率。