[论文解读] Beyond Pinball Loss: Quantile Methods for Calibrated Uncertainty Quantification

Youngseog Chung, Willie Neiswanger+2 more|arXiv (Cornell University)|Nov 18, 2020

Fault Detection and Control Systems被引用 23

一句话总结

本文提出了一种模型无关的分位数方法，克服了pinball损失的局限性，实现了校准性与精确度之间的显式权衡，优化了中心区间预测，并提升了个体校准性。该方法采用可调损失函数与训练流程，在基准数据集和真实世界核聚变数据集上均展现出优越的不确定性量化性能。

ABSTRACT

Among the many ways of quantifying uncertainty in a regression setting, specifying the full quantile function is attractive, as quantiles are amenable to interpretation and evaluation. A model that predicts the true conditional quantiles for each input, at all quantile levels, presents a correct and efficient representation of the underlying uncertainty. To achieve this, many current quantile-based methods focus on optimizing the so-called pinball loss. However, this loss restricts the scope of applicable regression models, limits the ability to target many desirable properties (e.g. calibration, sharpness, centered intervals), and may produce poor conditional quantiles. In this work, we develop new quantile methods that address these shortcomings. In particular, we propose methods that can apply to any class of regression model, allow for selecting a trade-off between calibration and sharpness, optimize for calibration of centered intervals, and produce more accurate conditional quantiles. We provide a thorough experimental evaluation of our methods, which includes a high dimensional uncertainty quantification task in nuclear fusion.

研究动机与目标

• 解决分位数回归中pinball损失的局限性，该局限性限制了模型选择并隐式平衡了校准性与精确度。
• 通过基于条件密度估计的模型无关训练方法，使任何回归模型均可用于不确定性量化。
• 通过可调损失函数，显式控制校准性与精确度之间的权衡。
• 优化中心预测区间，该目标在实践中常见，但pinball损失并未直接针对此目标。
• 通过一种新颖的训练流程，提升个体校准性，超越平均校准性，从而增强分位数预测的可靠性。

提出的方法

• 提出一种模型无关算法，通过条件密度估计同时学习所有分位数，将分位数预测与模型架构解耦。
• 引入一种可调损失函数，将校准性与精确度目标分离，使用户可在训练过程中显式平衡这两种属性。
• 设计一种专为优化中心预测区间而开发的新损失函数，提升在此类常见实际应用场景下的性能。
• 开发一种训练流程，通过最小化各分位数水平下与预期覆盖率的偏差，增强个体校准性。
• 利用自助采样集成方法，整合认知不确定性，提升低数据场景下的鲁棒性。
• 将该方法应用于高维回归任务，包括一个真实世界的核聚变不确定性量化任务。

实验结果

研究问题

• RQ1 分位数方法能否实现模型无关性，使任何回归模型均可用于不确定性量化？
• RQ2 能否在分位数回归中显式平衡校准性与精确度，而非通过pinball损失隐式实现？
• RQ3 针对中心区间进行优化是否能提升不确定性估计的实际性能？
• RQ4 能否在平均校准性之外提升个体校准性，且这种提升是否带来更可靠的分位数预测？
• RQ5 所提出的方法在具有复杂不确定性结构的高维、真实世界回归任务中表现如何？

主要发现

• 与基线pinball损失方法相比，所提方法在校准性与精确度的权衡上表现更优，且能显式控制这两种指标之间的平衡。
• 模型无关的训练方法使多样化的回归模型可用于不确定性量化，显著扩展了其在标准分位数回归框架之外的应用范围。
• 针对中心区间进行优化可显著提升实际场景中预测区间的准确性和可靠性，优于pinball损失在该特定目标上的表现。
• 个体校准性训练流程显著降低了校准偏差，尤其在对抗性分组设置下表现突出，证明了分位数预测可靠性的提升。
• 在高维核聚变回归任务中，所提方法生成的不确定性估计比现有基线方法更准确且更校准。
• 自助采样集成方法有效整合了认知不确定性，在低数据场景下减少了过度自信，并提升了认知覆盖度。