[论文解读] Confidence curves for UQ validation: probabilistic reference vs. oracle

Pascal Pernot|arXiv (Cornell University)|Jun 30, 2022

Scientific Measurement and Uncertainty Evaluation被引用 4

一句话总结

本文提出用基于误差分布与不确定性估计匹配的概率参考替代传统置信曲线验证中的确定性参考。通过使用正态生成分布和基于RMSE的非归一化置信曲线，该方法可直接评估基于方差的不确定性量化（UQ）的校准性与紧密性，其在诊断不确定性估计的可靠性与精确性方面优于传统参考。

ABSTRACT

Confidence curves are used in uncertainty validation to assess how large uncertainties ($u_{E}$) are associated with large errors ($E$). An oracle curve is commonly used as reference to estimate the quality of the tested datasets. The oracle is a perfect, deterministic, error predictor, such as $|E|=\pm u_{E}$, which corresponds to a very unlikely error distribution in a probabilistic framework and is unable unable to inform us on the calibration of $u_{E}$. I propose here to replace the oracle by a probabilistic reference curve, deriving from the more realistic scenario where errors should be random draws from a distribution with standard deviation $u_{E}$. The probabilistic curve and its confidence interval enable a direct test of the quality of a confidence curve. Paired with the probabilistic reference, a confidence curve can be used to check the calibration and tightness of prediction uncertainties.

研究动机与目标

• 解决在验证基于方差的不确定性量化（UQ）方法时，传统确定性参考存在的局限性。
• 开发一种更真实、更具信息量的参考曲线，以反映误差与不确定性之间的概率特性。
• 通过置信曲线实现对预测不确定性校准性与紧密性的直接诊断评估。
• 提供一种无需分箱的稳健验证方法，补充现有的可靠性图与LZV分析等技术。
• 建立置信曲线分析的最佳实践，包括统计量与生成分布的选择。

提出的方法

• 将确定性参考（|E| = ±u_E）替换为基于从标准差为u_E的正态分布中抽样误差的概率参考曲线。
• 使用基于RMSE统计量的非归一化置信曲线来评估数据不确定性性能。
• 通过从指定生成分布D（默认为正态分布）进行蒙特卡洛抽样生成参考置信曲线，以构建参考带。
• 围绕概率参考曲线构建置信区间，以实现对数据置信曲线的统计检验。
• 使用DFPR（与概率参考的差异）统计量量化与参考曲线的偏离程度，指示紧密性不足。
• 将置信曲线分析与Var(Z)检验（Z = E/u_E）结合使用，以在诊断存在歧义时验证平均校准性。

实验结果

研究问题

• RQ1 为何传统确定性参考不适用于概率框架下基于方差的不确定性量化验证？
• RQ2 如何构建一个概率参考曲线，以真实反映误差相对于不确定性的预期行为？
• RQ3 所提出的方法在诊断不确定性估计的校准性与紧密性方面，相较于传统参考有何改进？
• RQ4 在置信曲线分析中，最优的统计选择是什么（例如RMSE与MAE，归一化与非归一化）？
• RQ5 置信曲线方法在诊断能力与稳健性方面，相较于现有的可靠性图与LZV分析等验证工具表现如何？

主要发现

• 传统确定性参考在基于方差的UQ验证中本质上不适用，因为它假设误差与不确定性之间存在确定性关系，这在概率误差模型下是不现实的。
• 基于从N(0, u_E)中抽样误差生成的概率参考曲线，为评估不确定性校准性与紧密性提供了现实的基准。
• 基于RMSE统计量的非归一化置信曲线相比归一化版本具有更优的诊断能力，因为后者对单调变换不变，因而无法评估校准性。
• 当置信曲线位于概率参考带之外时，若位于上方则表示不确定性被高估，若呈现波动或显著偏离则表示紧密性不足。
• DFPR统计量能有效检测紧密性不足，但无法独立诊断校准问题，因此需辅以Var(Z)检验以实现完整验证。
• 置信曲线方法对分箱方案不敏感，是一种有价值的替代方法，尤其在与定量诊断结合时，可作为可靠性图与LZV分析的有力补充。