[论文解读] Stochastic-YOLO: Efficient Probabilistic Object Detection under Dataset Shifts

Tiago Azevedo, René de Jong+2 more|arXiv (Cornell University)|Sep 7, 2020

Adversarial Robustness in Machine Learning参考文献 23被引用 15

一句话总结

Stochastic-YOLO 将蒙特卡洛丢弃（MC-Drop）引入 YOLOv3，以实现高效的概率性目标检测，并对标签和空间预测进行不确定性估计。它通过一种新颖的缓存机制，将推理时开销降低了高达 70%，显著提升了在数据集分布偏移下的鲁棒性，同时在多种硬件平台上保持了低延迟和低功耗。

ABSTRACT

In image classification tasks, the evaluation of models' robustness to increased dataset shifts with a probabilistic framework is very well studied. However, object detection (OD) tasks pose other challenges for uncertainty estimation and evaluation. For example, one needs to evaluate both the quality of the label uncertainty (i.e., what?) and spatial uncertainty (i.e., where?) for a given bounding box, but that evaluation cannot be performed with more traditional average precision metrics (e.g., mAP). In this paper, we adapt the well-established YOLOv3 architecture to generate uncertainty estimations by introducing stochasticity in the form of Monte Carlo Dropout (MC-Drop), and evaluate it across different levels of dataset shift. We call this novel architecture Stochastic-YOLO, and provide an efficient implementation to effectively reduce the burden of the MC-Drop sampling mechanism at inference time. Finally, we provide some sensitivity analyses, while arguing that Stochastic-YOLO is a sound approach that improves different components of uncertainty estimations, in particular spatial uncertainties.

研究动机与目标

• 为解决在数据集分布偏移下目标检测中标签和空间不确定性缺乏系统性评估的问题。
• 开发 YOLOv3 中蒙特卡洛丢弃（MC-Drop）的高效实现，以最小化实际部署中的推理时成本。
• 使用概率性指标（如 PDQ）评估模型鲁棒性，该指标比传统 mAP 更好地捕捉不确定性质量。
• 对 MC-Drop 超参数（丢弃率、微调）进行敏感性分析，以支持实际部署。
• 在自动驾驶和医学影像等安全关键应用中推动不确定性感知目标检测的广泛应用。

提出的方法

• 将 YOLOv3 与蒙特卡洛丢弃（MC-Drop）结合，引入随机性，为类别标签和边界框位置生成不确定性估计。
• 引入一种缓存机制，存储 MC-Drop 采样过程中的中间激活值，避免多次前向传播中的重复计算。
• 使用基于概率的检测质量（PDQ）指标，在不同水平的数据集分布偏移下评估标签和空间不确定性的质量。
• 在高性能（RTX 2080）和边缘设备（Jetson TX2）平台上评估推理时间与功耗，以衡量实际效率。
• 对丢弃率和微调进行消融研究，以确定部署的最优配置。
• 将 Stochastic-YOLO 与基线 YOLOv3 及集成模型进行比较，评估在准确性、延迟和能效之间的权衡。

实验结果

研究问题

• RQ1 MC-Drop 在数据集分布偏移下如何提升目标检测中的标签和空间不确定性估计？
• RQ2 缓存机制对随机目标检测器的推理时间和功耗有何影响？
• RQ3 丢弃率和微调如何影响 Stochastic-YOLO 中的不确定性质量与推理效率？
• RQ4 PDQ 与 mAP 在评估不确定性感知目标检测模型时有何差异？
• RQ5 Stochastic-YOLO 是否能在高性能设备和边缘设备上高效部署，同时不牺牲鲁棒性？

主要发现

• 缓存后的 Stochastic-YOLO 相比非缓存的 MC-Drop 推理，速度提升了 2–3 倍，延迟降低至基线 YOLOv3 的 2–3 倍，而无缓存时延迟高达基线的 10 倍。
• 尽管采用随机推理，功耗仅略有增加（在 RTX 2080 和 Jetson TX2 上均不超过基线 YOLOv3 的 10%），表明其具有出色的能效表现。
• Stochastic-YOLO 在所有数据集分布偏移水平下均提升了 PDQ 分数，表明其不确定性校准优于基线 YOLOv3。
• 直接将 MC-Drop 应用于预训练的 YOLOv3 而不进行微调，即可获得显著性能提升，尤其在低丢弃率下效果更明显。
• 使用更高丢弃率进行微调可进一步提升不确定性质量，表明存在训练成本与鲁棒性之间的权衡。
• 缓存机制将 MC-Drop 的计算负担降低了高达 70%，使概率推理在实时系统中具备可行性。