[论文解读] How to Train a Shallow Ensemble

Moritz Schäfer, Matthias Kellner+2 more|arXiv (Cornell University)|Feb 17, 2026

Machine Learning in Materials Science被引用 0

一句话总结

该论文分析了机器学习原子间势能的浅集成训练策略，显示显式的能量与力的不确定性损失可改善校准，且对比训练自初始化的全模型微调在成本大幅降低的情况下也能实现可比的校准性能。

ABSTRACT

Shallow ensembles provide a convenient strategy for uncertainty quantification in machine learning interatomic potentials, that is computationally efficient because the different ensemble members share a large part of the model weights. In this work, we systematically investigate training strategies for shallow ensembles to balance calibration performance with computational cost. We first demonstrate that explicit optimization of a negative log-likelihood (NLL) loss improves calibration with respect to approaches based on ensembles of randomly initialized models, or on a last-layer Laplace approximation. However, models trained solely on energy objectives yield miscalibrated force estimates. We show that explicitly modeling force uncertainties via an NLL objective is essential for reliable calibration, though it typically incurs a significant computational overhead. To address this, we validate an efficient protocol: full-model fine-tuning of a shallow ensemble originally trained with a probabilistic energy loss, or one sampled from the Laplace posterior. This approach results in negligible reduction in calibration quality compared to training from scratch, while reducing training time by up to 96%. We evaluate this protocol across a diverse range of materials, including amorphous carbon, ionic liquids (BMIM), liquid water (H$_2$O), barium titanate (BaTiO$_3$), and a model tetrapeptide (Ac-Ala3-NHMe), establishing practical guidelines for reliable uncertainty quantification in atomistic machine learning.

研究动机与目标

• 为机器学习原子间势的已校准不确定性量化（UQ）提供动机，以支持可靠的模拟。
• 比较不同的浅集成和末层方法在能量与力不确定性估计上的表现。
• 确定在校准质量与计算成本之间取得平衡的训练策略。
• 在多样材料上提供实用指南和基准，用于不确定性感知势场。

提出的方法

• 使用高斯负对数似然（NLL）损失通过分享骨干网络并联合训练末层来训练浅集成（DPOSE）。
• 将以能量为重点的NLL训练（SE E）与以末层拉普拉斯为基础的LLPR方法（LLPR E）进行比较。
• 通过训练力损失（力的NLL）和/或包括力 Hessian 贡献（E,F 变体）来将力不确定性纳入其中。
• 对后验进行校准，在保留数据上通过一个标量 alpha 对不确定性（方差）进行缩放来预测不确定性。
• 在多个数据集和架构上使用相对对数似然（RLL）评估校准；评估全模型微调与仅末层更新对训练成本及影响。

实验结果

研究问题

• RQ1 能否通过能量不确定性已校准的浅集成（SE E）和基于 LLPR 的方法（LLPR E）在多样材料中提供可靠的能量不确定性估计？
• RQ2 将力不确定性（E,F）或力的 NLL 纳入是否能在不过度成本的情况下改善力的校准？
• RQ3 当 LLPR 或力信息训练在骨干网络冻结时，是否需要对全模型进行微调以恢复良好的校准？
• RQ4 这些方法在不同数据集（分子液体、固体、生物分子）和架构下的表现如何？

主要发现

• 通过能量 NLL（SE E）训练的浅集成在所有测试数据集上都呈现正向的能量 RLL，表明能量不确定性具有信息量。
• LLPR E（仅能量）在若干数据集上常呈现负的 RLL，显示能量校准表现较弱，且在某些离群结构上存在失败模式。
• 对 LLPR E 初始参数进行全模型微调可恢复校准质量，达到与从头训练的浅集成相当的 RLL，同时显著降低训练时间。
• 纳入力不确定性需要力 NLL 损失（E,F）或包括力 Hessian 贡献（LLPR E,F），否则会出现力的误校准；仅能量校准无法提供可靠的力估计。
• 独立的能量/力后验校准（分别的 alpha_E 和 alpha_F）对部分数据集有帮助，但对其他数据集可能失效，且存在元素级别的错配校准（如 BMIM 中的 Boron/Fluorine）。
• 在 BMIM 中，LLPR E 和 SE E 存在元素特定的错配校准，这促使通过力信息训练来校正局部不确定性。