[论文解读] Learning Uncertainty For Safety-Oriented Semantic Segmentation In Autonomous Driving

Victor Besnier, David Picard+1 more|arXiv (Cornell University)|May 28, 2021

Advanced Neural Network Applications参考文献 24被引用 12

一句话总结

本文提出一种自监督观测网络，用于在自动驾驶语义分割中估计认知不确定性与随机不确定性，通过主干网络与观测网络输出之间的差异性实现。该方法在安全导向性能方面表现优越，尤其在眩光伪影场景下表现突出，推理速度比MC Dropout快20倍，且在计算开销极低的情况下超越了蒸馏与数据增强方法。

ABSTRACT

In this paper, we show how uncertainty estimation can be leveraged to enable safety critical image segmentation in autonomous driving, by triggering a fallback behavior if a target accuracy cannot be guaranteed. We introduce a new uncertainty measure based on disagreeing predictions as measured by a dissimilarity function. We propose to estimate this dissimilarity by training a deep neural architecture in parallel to the task-specific network. It allows this observer to be dedicated to the uncertainty estimation, and let the task-specific network make predictions. We propose to use self-supervision to train the observer, which implies that our method does not require additional training data. We show experimentally that our proposed approach is much less computationally intensive at inference time than competing methods (e.g. MCDropout), while delivering better results on safety-oriented evaluation metrics on the CamVid dataset, especially in the case of glare artifacts.

研究动机与目标

• 为解决自动驾驶中神经网络预测不安全的问题，特别是在眩光等恶劣视觉条件下的挑战。
• 开发一种计算高效的不确定性估计方法，可检测认知不确定性与随机不确定性，且无需额外标注。
• 通过在预测置信度低于阈值时触发动作，实现实时安全回退机制。
• 使用自监督方式训练不确定性观测网络，避免昂贵的数据微调或人工标注的不确定性标签。
• 在分布偏移与噪声环境下，尤其在安全关键场景中，优于现有方法（如MC Dropout与蒸馏）对不确定预测的检测能力。

提出的方法

• 并行观测网络（ObsNet）在预测确定时模仿主干分割网络，但在预测不确定时产生差异化的输出。
• 通过学习的差异性函数，度量主干网络输出与观测网络输出之间的差异性，作为不确定性度量。
• 观测网络通过自监督方式训练：使用带噪声的输入和正则化dropout的预测作为目标，使其在无真实不确定性标签的情况下学习不确定性模式。
• 采用双流训练设置：主干网络为带有dropout的贝叶斯SegNet，观测网络则在不确定情况下学习匹配其预测。
• 损失函数结合了通过多次前向传播（dropout）实现的认知不确定性，以及通过输入噪声注入实现的随机不确定性，使用SGD与权重衰减进行优化。
• 该框架可兼容任意现成的分割网络，且推理阶段仅需一次前向传播，计算开销极低。

实验结果

研究问题

• RQ1 自监督观测网络能否在自动驾驶语义分割中有效估计认知不确定性与随机不确定性？
• RQ2 在真实世界损坏（如眩光）下，该方法与MC Dropout和蒸馏方法相比，在不确定性检测方面表现如何？
• RQ3 当在不同类型的噪声上进行训练时，观测网络能否泛化到未见过的噪声模式（如块状噪声）？
• RQ4 与基于集成或蒸馏的不确定性估计方法相比，该方法是否在保持高性能的同时实现极低的计算成本？
• RQ5 在标准置信度分数失效的情况下，不确定性图是否能可靠地触发安全关键场景下的回退行为？

主要发现

• 所提方法在认知不确定性上达到89.3% R@P=0.95（表1），优于MC Dropout T50（88.2%），且AUPR达到97.9%（与MC Dropout持平），但推理速度快20倍。
• 在眩光条件下的随机不确定性中，该方法在GT监督下达到79.4% R@P与96.6% AuPR，显著优于MC Dropout T50（0.1% R@P与83.9% AuPR）。
• 即使在仅用块状噪声训练并在眩光上测试的情况下，自监督观测网络仍达到46.7% R@P与92.3% AuPR，优于MC Dropout与基于蒸馏的方法。
• 在GeForce RTX 2080 Ti上，该方法比MC Dropout T50快20倍，推理成本等同于单次前向传播。
• 基于蒸馏的方法在眩光场景下仅实现2.2%的触发率，而该观测网络在GT监督下实现39.2%的触发率。
• 观测网络对未见噪声类型具有良好的泛化能力，展现出无需微调即可应对分布偏移的鲁棒性。