[论文解读] How to Evaluate Uncertainty Estimates in Machine Learning for Regression?

Laurens Sluijterman, Eric Cator+1 more|arXiv (Cornell University)|Jun 7, 2021

Machine Learning and Data Classification参考文献 27被引用 6

一句话总结

本文批判了评估回归模型不确定性标准方法——对数似然与预测区间覆盖率概率（PICP）——指出这些方法无法评估逐点覆盖率，且可能偏好次优方法。本文提出一种基于模拟的测试框架，通过重复实验评估每个数据点的覆盖率，理论与仿真结果表明，该方法能更准确识别可靠的预测与置信区间。

ABSTRACT

As neural networks become more popular, the need for accompanying uncertainty estimates increases. There are currently two main approaches to test the quality of these estimates. Most methods output a density. They can be compared by evaluating their loglikelihood on a test set. Other methods output a prediction interval directly. These methods are often tested by examining the fraction of test points that fall inside the corresponding prediction intervals. Intuitively both approaches seem logical. However, we demonstrate through both theoretical arguments and simulations that both ways of evaluating the quality of uncertainty estimates have serious flaws. Firstly, both approaches cannot disentangle the separate components that jointly create the predictive uncertainty, making it difficult to evaluate the quality of the estimates of these components. Secondly, a better loglikelihood does not guarantee better prediction intervals, which is what the methods are often used for in practice. Moreover, the current approach to test prediction intervals directly has additional flaws. We show why it is fundamentally flawed to test a prediction or confidence interval on a single test set. At best, marginal coverage is measured, implicitly averaging out overconfident and underconfident predictions. A much more desirable property is pointwise coverage, requiring the correct coverage for each prediction. We demonstrate through practical examples that these effects can result in favoring a method, based on the predictive uncertainty, that has undesirable behaviour of the confidence or prediction intervals. Finally, we propose a simulation-based testing approach that addresses these problems while still allowing easy comparison between different methods.

研究动机与目标

• 识别当前回归预测不确定性评估方法中的根本缺陷。
• 证明高对数似然值并不保证更好的预测区间，且PICP仅衡量边际覆盖率而非逐点覆盖率。
• 表明依赖单次测试集评估可能导致在选择不确定性估计方法时产生误导。
• 提出一种基于模拟的框架，实现对预测与置信区间的准确、逐点评估。
• 倡导建立标准化的基准模拟实验，以公平比较不同模型间的不确定性估计方法。

提出的方法

• 提出一种基于模拟的测试框架，从已知的数据生成过程中反复生成合成数据。
• 在每个合成数据集上训练模型，并为每个测试点计算预测区间（PIs）和置信区间（CIs）。
• 通过计算在多次模拟中每个独立数据点被覆盖的频率，评估逐点覆盖率。
• 使用覆盖率分数的Brier评分（PICF/CICF）与平均区间宽度作为定量指标，评估校准性与精确性。
• 使用传统PICP与所提出的基于模拟的PICF/CICF指标，对比dropout与bootstrap等方法的性能。
• 基于真实世界数据集（如波士顿房价数据集）进行模拟，以确保结果的相关性与可复现性。

实验结果

研究问题

• RQ1 为何标准PICP指标不足以评估预测区间的质量？
• RQ2 对数似然评估为何无法真实反映预测区间在实际中的表现？
• RQ3 边际覆盖率（由PICP衡量）与逐点覆盖率有何区别？为何后者更可取？
• RQ4 一种方法能否在获得良好PICP分数的同时，对单个数据点的覆盖率表现极差？
• RQ5 基于模拟的测试如何提升回归模型不确定性估计的评估效果？

主要发现

• PICP指标仅评估测试集上的边际覆盖率，而非逐点覆盖率，因此无法检测出在单个数据点上系统性地低估或高估置信度的情况。
• 对数似然值较高的方法并不一定产生更好的预测区间，因为对数似然将模型不确定性与数据不确定性混合在一起，未加以区分。
• 在模拟中，bootstrap方法的PICP约为0.8（接近名义上的80%），但表现出不一致的逐点覆盖率，许多数据点的区间过宽或过窄。
• 基于模拟的方法揭示，dropout与bootstrap方法的逐点覆盖率均表现不佳：dropout的CICF Brier得分为0.15，平均宽度为3.04；bootstrap的CICF Brier得分为0.147，平均宽度为4.92，表明其校准性差。
• 所提出的基于模拟的方法（使用PICF与CICF）检测到，即使PICP可接受，预测区间与置信区间在单个点层面仍可能严重校准不良。
• 研究证实，依赖单次测试集评估会导致对不确定性质量的误导性结论，重复模拟对于有效评估至关重要。