[论文解读] A critical examination of robustness and generalizability of machine learning prediction of materials properties

Kangming Li, Brian DeCost+3 more|arXiv (Cornell University)|Oct 24, 2022

Machine Learning in Materials Science被引用 8

一句话总结

本论文表明，基于Materials Project 2018（MP18）数据集预训练的机器学习模型在预测MP21数据集中新材料的生成能时，由于分布偏移导致性能严重下降。通过使用UMAP可视化和基于委员会的主动学习，作者识别出分布外样本，并仅通过添加1%的测试数据就显著提升了预测准确率，提出了一套实用的框架以增强材料机器学习中的鲁棒性和泛化能力。

ABSTRACT

Recent advances in machine learning (ML) methods have led to substantial improvement in materials property prediction against community benchmarks, but an excellent benchmark score may not imply good generalization of performance. Here we show that ML models trained on the Materials Project 2018 (MP18) dataset can have severely degraded prediction performance on new compounds in the Materials Project 2021 (MP21) dataset. We document performance degradation in graph neural networks and traditional descriptor-based ML models for both quantitative and qualitative predictions. We find the source of the predictive degradation is due to the distribution shift between the MP18 and MP21 versions. This is revealed by the uniform manifold approximation and projection (UMAP) of the feature space. We then show that the performance degradation issue can be foreseen using a few simple tools. Firstly, the UMAP can be used to investigate the connectivity and relative proximity of the training and test data within feature space. Secondly, the disagreement between multiple ML models on the test data can illuminate out-of-distribution samples. We demonstrate that the simple yet efficient UMAP-guided and query-by-committee acquisition strategies can greatly improve prediction accuracy through adding only 1~\% of the test data. We believe this work provides valuable insights for building materials databases and ML models that enable better prediction robustness and generalizability.

研究动机与目标

• 研究在历史材料数据库上预训练的机器学习模型在应用于更新、更庞大的数据集时的泛化性能。
• 识别在不断演化的材料数据库背景下，新物质预测中模型性能下降的根本原因。
• 开发实用且数据高效的策略，用于诊断和缓解材料科学机器学习中的分布外预测失败。
• 通过特征空间分析和集成模型分歧，提升机器学习模型在材料性质预测中的鲁棒性和可靠性。

提出的方法

• 采用UMAP（均匀流形近似与投影）将Matminer提取的高维特征（经相关性筛选后为90维）降维至低维空间，以可视化MP18与MP21之间数据分布的偏移。
• 在MP18数据上训练了最先进的图神经网络（ALIGNN）以及三种传统机器学习模型（XGBoost、随机森林、线性随机森林），用于生成能预测。
• 利用多个模型之间的查询-委员会分歧检测出具有高预测不确定性的分布外测试样本。
• 通过基于UMAP聚类选择最偏离的样本（即分布外样本）进行重训练，实施UMAP引导的主动学习，仅用少量新增数据显著提升模型准确率。
• 使用标准回归指标（如R²、MAE）在MP21测试集上评估模型性能，比较在完整MP18与在MP18基础上加入选定新数据训练的模型表现。
• 提出一种混合预测策略，结合线性模型，以在数据稀缺或分布偏移发生时提升外推预测的鲁棒性。

实验结果

研究问题

• RQ1 在MP18上预训练的机器学习模型在预测MP21数据集中新材料的生成能时，性能下降程度如何？
• RQ2 当模型在不断演化的数据库中推广至新物质时，性能下降的根本原因是什么？
• RQ3 基于UMAP的特征空间可视化能否揭示与预测失败相关的分布偏移？
• RQ4 多个机器学习模型之间的分歧是否有助于在部署前识别出分布外样本？
• RQ5 基于UMAP和模型分歧引导的主动学习，能否在仅使用极少新增数据的情况下显著提升预测准确率？

主要发现

• 在MP18上预训练的ALIGNN模型在MP21中部分新材料的生成能预测中表现出严重低估，与在MP18测试集上的表现相比，MAE性能下降超过50%。
• 传统模型如XGBoost和线性随机森林在MP21数据上的相稳定性估计比最先进的ALIGNN模型更具鲁棒性。
• UMAP可视化显示，预测不佳的MP21材料在特征空间中远离MP18训练数据的分布，表明存在分布偏移。
• 模型分歧（查询-委员会方法）有效突出了分布外样本，高分歧程度与高预测误差显著相关。
• 仅通过添加1%的MP21测试数据（基于UMAP聚类和模型分歧选择）即可显著提升预测准确率，使最差表现子集的MAE降低达30%。
• 本研究证明，基于UMAP引导的主动学习是一种高效策略，可在极低数据获取成本下显著提升模型的泛化能力。