[论文解读] Injecting Domain Knowledge from Empirical Interatomic Potentials to Neural Networks for Predicting Material Properties

Zeren Shui, Daniel S. Karls+4 more|arXiv (Cornell University)|Oct 14, 2022

Machine Learning in Materials Science被引用 5

一句话总结

本文提出了两种通用策略——通过弱监督学习进行标签增强，以及通过迁移学习进行多任务预训练——将从经验原子间势（EIPs）中获得的领域知识注入神经网络（NN）势函数，以提升其泛化能力。通过利用未标记构型和EIP能量作为代理标签，该方法在基准数据集上的NN性能最高提升55%，且两种策略结合使用时效果更佳。

ABSTRACT

For decades, atomistic modeling has played a crucial role in predicting the behavior of materials in numerous fields ranging from nanotechnology to drug discovery. The most accurate methods in this domain are rooted in first-principles quantum mechanical calculations such as density functional theory (DFT). Because these methods have remained computationally prohibitive, practitioners have traditionally focused on defining physically motivated closed-form expressions known as empirical interatomic potentials (EIPs) that approximately model the interactions between atoms in materials. In recent years, neural network (NN)-based potentials trained on quantum mechanical (DFT-labeled) data have emerged as a more accurate alternative to conventional EIPs. However, the generalizability of these models relies heavily on the amount of labeled training data, which is often still insufficient to generate models suitable for general-purpose applications. In this paper, we propose two generic strategies that take advantage of unlabeled training instances to inject domain knowledge from conventional EIPs to NNs in order to increase their generalizability. The first strategy, based on weakly supervised learning, trains an auxiliary classifier on EIPs and selects the best-performing EIP to generate energies to supplement the ground-truth DFT energies in training the NN. The second strategy, based on transfer learning, first pretrains the NN on a large set of easily obtainable EIP energies, and then fine-tunes it on ground-truth DFT energies. Experimental results on three benchmark datasets demonstrate that the first strategy improves baseline NN performance by 5% to 51% while the second improves baseline performance by up to 55%. Combining them further boosts performance.

研究动机与目标

• 解决训练材料神经网络势函数时标签稀缺的问题，其中高保真度的DFT数据计算成本高昂且有限。
• 利用经验原子间势（EIPs）的物理一致性与计算高效性作为领域知识来源，以提升NN势函数的泛化能力。
• 开发通用且可迁移的策略，将EIP衍生的监督信息注入神经网络训练过程，而无需额外的DFT计算。
• 证明EIPs可作为高质量、可扩展的监督信号，用于训练更鲁棒、更具泛化能力的机器学习势函数。

提出的方法

• 提出一种弱监督标签增强策略：在DFT标注数据上训练一个辅助分类器，以预测每个未标记构型的最佳EIP，然后使用该EIP的能量作为代理标签。
• 采用鲁棒回归损失（Tukey损失）在扩展的数据集（包含DFT标注和EIP监督的未标记构型）上训练NN势函数，以降低噪声和异常值的影响。
• 引入多任务预训练策略：在微调前，先在大规模EIP预测能量上预训练NN的表示头。
• 通过将知识注入与模型结构解耦，实现与任意NN势函数架构的灵活集成。
• 应用t-SNE可视化，证明预训练可使学习到的表示空间中能量景观更加平滑、更具物理意义。
• 通过消融实验验证Tukey损失的有效性，以及EIP选择对性能的影响。

实验结果

研究问题

• RQ1 当DFT标注数据稀缺时，经验原子间势（EIPs）能否作为有效且可扩展的监督信号，用于训练神经网络势函数？
• RQ2 与仅使用DFT数据训练相比，利用EIP预测结果进行弱监督标签增强，如何提升NN势函数的泛化能力？
• RQ3 在EIP能量上进行多任务预训练，能在多大程度上增强NN势函数的表征能力与最终性能？
• RQ4 结合两种策略是否能在多种材料体系中实现协同性能提升？
• RQ5 所提出的方法对噪声或不准确的EIP预测有多鲁棒？何种损失函数最能缓解此问题？

主要发现

• 标签增强策略在三个基准数据集上将基线NN性能提升了5%至51%，即使使用代理EIP标签也表现出显著增益。
• 多任务预训练策略将基线性能最高提升55%，表明在EIP能量上预训练可增强泛化能力和表征质量。
• 结合两种策略可进一步提升性能，表明弱监督与表征预训练具有互补优势。
• 消融实验表明，Tukey损失能有效降低噪声或异常EIP预测的影响，若改用MSE损失则性能下降。
• t-SNE可视化证实，多任务预训练使潜在空间中的能量景观更加平滑、结构更清晰，且体相与团簇构型呈现明确聚类。
• 该方法具有通用性，适用于多种NN势函数架构（如SchNet和SOAPNet），并在Si、Al及ANI-1数据集等多组数据上表现良好。