[论文解读] Large-scale machine-learning-assisted exploration of the whole materials space

Jonathan Schmidt, Noah Hoffmann+6 more|arXiv (Cornell University)|Oct 2, 2022

Machine Learning in Materials Science被引用 8

一句话总结

本论文提出了一套基于晶体图注意力网络（CGAT）的大规模机器学习框架，实现了对整个无机材料体系的加速、高通量探索。通过增强训练数据以减少化学和结构多样性中的偏差，该模型实现了前所未有的泛化精度，识别出超过19,500种新的稳定化合物以及约150,000种近稳定材料，覆盖约10亿种化合物，后续通过从头计算验证并发现了超导体和超硬材料的候选物质。

ABSTRACT

Crystal-graph attention networks have emerged recently as remarkable tools for the prediction of thermodynamic stability and materials properties from unrelaxed crystal structures. Previous networks trained on two million materials exhibited, however, strong biases originating from underrepresented chemical elements and structural prototypes in the available data. We tackled this issue computing additional data to provide better balance across both chemical and crystal-symmetry space. Crystal-graph networks trained with this new data show unprecedented generalization accuracy, and allow for reliable, accelerated exploration of the whole space of inorganic compounds. We applied this universal network to perform machine-learning assisted high-throughput materials searches including 2500 binary and ternary structure prototypes and spanning about 1 billion compounds. After validation using density-functional theory, we uncover in total 19512 additional materials on the convex hull of thermodynamic stability and ~150000 compounds with a distance of less than 50 meV/atom from the hull. Combining again machine learning and ab-initio methods, we finally evaluate the discovered materials for applications as superconductors, superhard materials, and we look for candidates with large gap deformation potentials, finding several compounds with extreme values of these properties.

研究动机与目标

• 解决现有材料数据库中数据偏差的问题，以克服材料科学中机器学习模型泛化能力受限的挑战。
• 利用机器学习辅助预测，实现对整个无机材料体系的高通量、可靠探索。
• 在二元和三元结构原型中识别出新的热力学稳定及近稳定材料。
• 发现具有极端性能的新材料，如高超导转变温度和大带隙形变势。
• 通过密度泛函理论（DFT）验证预测结果，并建立针对原型的迁移学习优化流程。

提出的方法

• 该研究采用晶体图注意力网络（CGAT），通过原子特征、边特征和注意力机制处理未弛豫的晶体结构，以预测相对于凸包的能量。
• 模型采用消息传递架构，对原子邻居实施多头注意力机制，其中注意力系数基于学习到的能量得分计算，并通过超网络进行更新。
• 边特征通过独立的注意力机制迭代更新，节点表征通过残差连接和ROOST提供的全局上下文进行优化。
• 最终预测头采用残差神经网络输出相对于凸包的能量距离，使用L1损失和AdamW优化进行训练。
• 应用迁移学习协议：初始预测结果通过DFT验证，随后使用新数据对特定原型模型进行微调，以提升精度。
• 该框架应用于2,500种二元和三元结构原型，覆盖约10亿种化合物，训练数据超过100万种材料，验证数据为156,483种材料。

实验结果

研究问题

• RQ1 在化学和晶体对称性空间中偏差较小的材料平衡数据集上训练的机器学习模型，是否能实现在整个无机材料体系中的泛化能力，包括代表性不足的元素和结构原型？
• RQ2 通过大规模、机器学习辅助的高通量筛选，可以发现多少种新的热力学稳定及近稳定无机化合物？
• RQ3 该模型在识别具有极端物理性能（如高超导转变温度或大带隙形变势）的材料方面表现如何？
• RQ4 在初步筛选后，迁移学习在特定晶体原型上的预测精度可提升到何种程度？
• RQ5 当泛化能力超出训练数据分布时，该模型的性能与现有方法相比如何？

主要发现

• 该模型在约10亿种化合物中识别出19,512种额外的稳定材料，位于热力学稳定性的凸包上，显著扩展了已知的稳定材料空间。
• 另有约150,000种化合物位于凸包的50 meV/atom以内，表明其具有很高的实验合成潜力。
• 由于数据增强有效减少了化学和晶体对称性空间中的偏差，该模型实现了前所未有的泛化精度。
• 迁移学习在一轮微调后，除石榴石和Ruddlesden–Popper层状钙钛矿外，所有原型的平均绝对误差（MAE）均降至足够低的水平，仅需第二轮微调即可进一步优化。
• 该框架成功识别出若干具有极高超导转变温度和带隙形变势的化合物，凸显其在定向材料发现中的实用性。
• 每个CGAT模型的训练约需在V100 GPU上运行1,000小时，整个流程在高斯超算中心的高性能计算资源上完成。