[论文解读] Estimating and Evaluating Regression Predictive Uncertainty in Deep Object Detectors

Ali Harakeh, Steven L. Waslander|arXiv (Cornell University)|Jan 13, 2021

Adversarial Robustness in Machine Learning参考文献 43被引用 8

一句话总结

本文提出使用能量评分作为合适的评分规则来训练深度目标检测器的方差网络，相较于负对数似然（NLL），能提升校准性并降低预测分布的熵。实验表明，NLL训练会导致不确定性估计过于自信，而能量评分训练则能获得更校准、更低熵的预测结果，并引入了一套合理的评估框架，用于评估目标检测中不确定性质量。

ABSTRACT

Predictive uncertainty estimation is an essential next step for the reliable deployment of deep object detectors in safety-critical tasks. In this work, we focus on estimating predictive distributions for bounding box regression output with variance networks. We show that in the context of object detection, training variance networks with negative log likelihood (NLL) can lead to high entropy predictive distributions regardless of the correctness of the output mean. We propose to use the energy score as a non-local proper scoring rule and find that when used for training, the energy score leads to better calibrated and lower entropy predictive distributions than NLL. We also address the widespread use of non-proper scoring metrics for evaluating predictive distributions from deep object detectors by proposing an alternate evaluation approach founded on proper scoring rules. Using the proposed evaluation tools, we show that although variance networks can be used to produce high quality predictive distributions, ad-hoc approaches used by seminal object detectors for choosing regression targets during training do not provide wide enough data support for reliable variance learning. We hope that our work helps shift evaluation in probabilistic object detection to better align with predictive uncertainty evaluation in other machine learning domains. Code for all models, evaluation, and datasets is available at: https://github.com/asharakeh/probdet.git.

研究动机与目标

• 为解决安全关键应用中深度目标检测器缺乏可靠预测不确定性估计的问题。
• 识别使用负对数似然（NLL）训练方差网络的缺陷，即无论预测是否正确，均导致高熵预测。
• 提出能量评分作为非局部的合适评分规则，以改善预测分布的校准性并降低熵。
• 基于合适评分规则开发一套合理的评估框架，超越目标检测中常用的临时性指标。
• 证明现有回归目标的训练策略无法为可靠的方差学习提供充分的数据支持。

提出的方法

• 使用能量评分作为损失函数替代负对数似然（NLL）来训练方差网络。
• 将能量评分作为合适评分规则用于评估预测分布，确保不确定性估计的统计一致性。
• 设计一种基于合适评分规则的新评估协议，用于评估目标检测中预测不确定性的质量。
• 应用方差网络以预测边界框回归输出的完整预测分布（均值与方差）。
• 在标准目标检测基准上，使用标准指标与所提出的评估框架，对比 NLL 与能量评分训练的效果。
• 分析回归目标的数据支持对方差学习的影响，表明数据支持不足会导致不确定性校准性差。

实验结果

研究问题

• RQ1 使用负对数似然（NLL）训练方差网络是否能在目标检测中生成校准良好且熵较低的预测分布？
• RQ2 能量评分能否作为比 NLL 更优的训练目标，用于学习目标检测器中可靠的回归预测不确定性？
• RQ3 在开创性检测器中采用的临时性回归目标选择策略，如何影响通过方差网络学习有意义不确定性的能力？
• RQ4 当前目标检测中的评估实践在多大程度上未能正确评估预测不确定性？
• RQ5 基于合适评分规则的评估框架能否提升目标检测中不确定性估计的可靠性与可比性？

主要发现

• 使用 NLL 训练时，无论预测边界框均值的准确性如何，均导致高熵预测分布，表明不确定性校准性差。
• 与 NLL 相比，使用能量评分作为训练目标可显著降低熵并获得更校准的预测分布。
• 基于合适评分规则的所提评估框架表明，许多最先进目标检测器在标准训练协议下并未生成可靠的不确定性估计。
• 在开创性检测器中采用的临时性回归目标选择策略，无法为有效的方差学习提供充分的数据支持，从而限制了不确定性质量。
• 基于能量评分的训练方法同时提升了校准性与不确定性锐度，使其成为不确定性感知目标检测更合适的优化目标。
• 本研究证明，当前目标检测中的评估实践与机器学习其他领域（尤其是在不确定性估计方面）的最佳实践不一致。