[论文解读] MUAD: Multiple Uncertainties for Autonomous Driving

Gianni Franchi, Xuanlong Yu+6 more|arXiv (Cornell University)|Mar 2, 2022

Adversarial Robustness in Machine Learning被引用 13

一句话总结

MUAD 提出了一项合成的、高保真度的数据集，包含 10,413 幅图像，涵盖多样的恶劣天气条件（夜间、雾、雨、雪）、分布外（OOD）物体，以及语义分割、深度估计和目标检测的标注，旨在研究自动驾驶中的多种不确定性类型。该基准支持在受控、逼真的扰动下对深度神经网络进行系统性评估，揭示了在多种不确定性源共同作用下模型性能显著下降，凸显了在安全关键系统中采用不确定性感知设计的必要性。

ABSTRACT

Predictive uncertainty estimation is essential for safe deployment of Deep Neural Networks in real-world autonomous systems. However, disentangling the different types and sources of uncertainty is non trivial for most datasets, especially since there is no ground truth for uncertainty. In addition, while adverse weather conditions of varying intensities can disrupt neural network predictions, they are usually under-represented in both training and test sets in public datasets.We attempt to mitigate these setbacks and introduce the MUAD dataset (Multiple Uncertainties for Autonomous Driving), consisting of 10,413 realistic synthetic images with diverse adverse weather conditions (night, fog, rain, snow), out-of-distribution objects, and annotations for semantic segmentation, depth estimation, object, and instance detection. MUAD allows to better assess the impact of different sources of uncertainty on model performance. We conduct a thorough experimental study of this impact on several baseline Deep Neural Networks across multiple tasks, and release our dataset to allow researchers to benchmark their algorithm methodically in adverse conditions. More visualizations and the download link for MUAD are available at https://muad-dataset.github.io/.

研究动机与目标

• 为解决自动驾驶感知中缺乏能解耦多种不确定性来源（即随机性、认知性不确定性与分布偏移）的数据集的问题。
• 提供一个具有受控扰动（天气、OOD 物体）的逼真合成数据集，用于评估深度神经网络中的不确定性量化。
• 支持在不同不确定性条件下，对多种感知任务中的深度学习模型进行系统性基准测试。
• 通过提供基线模型和全面的评估协议，支持不确定性感知感知研究。
• 通过提供逼真且多样的数据分布，促进从合成域到真实世界域的无监督域自适应。

提出的方法

• MUAD 数据集包含 10,413 幅通过高保真度仿真生成的合成图像，涵盖夜间、雾、雨、雪等天气条件，以及多样化的分布外（OOD）物体。
• 为三项核心任务提供标注：语义分割、单目深度估计和带边界框的实例/目标检测。
• 数据集划分为 3,420 幅训练图像、492 幅验证图像和 6,501 幅测试图像，扰动程度逐步递增（例如，低强度和高强度天气、OOD 物体存在）。
• 训练并评估了基线模型，包括使用 ResNet-50 和 ResNet-101 主干网络的 Faster R-CNN 以及 Gaussian YOLOv3 模型，覆盖所有扰动级别。
• 性能通过标准指标（mAP、AP50）和概率检测质量（PDQ）指标进行衡量，以评估不确定性感知的定位能力。
• 研究包括从 MUAD 到 KITTI 的域自适应实验，证明了不确定性感知模型向真实世界数据的可迁移性。

实验结果

研究问题

• RQ1 不同类型的不确定性（恶劣天气、OOD 物体、分布偏移）如何影响深度神经网络在多种感知任务中的性能？
• RQ2 不确定性感知模型在合成但逼真的环境中，面对逐步增强的扰动时，其鲁棒性能够保持到何种程度？
• RQ3 像 MUAD 这样的合成数据集能否有效支持不确定性量化方法的开发与评估，以在真实世界部署前进行验证？
• RQ4 在恶劣条件下，不同主干网络架构（如 ResNet-50 与 ResNet-101）和检测头（Faster R-CNN 与 YOLOv3）在不确定性泛化方面表现如何比较？
• RQ5 通过域自适应，MUAD 上训练的模型在多大程度上能泛化到真实世界基准（如 KITTI）？

主要发现

• 使用 ResNet-101 主干的 Faster R-CNN 在正常条件下达到 39.91% 的 mAP，但在无 OOD 物体的高强度恶劣条件下下降至 24.73% mAP，表明恶劣天气下性能显著下降。
• 在高强度恶劣条件下，引入 OOD 物体后 mAP 进一步降低至 12.41%，表明分布偏移会加剧性能下降，其影响超过仅天气因素。
• Gaussian YOLOv3 模型的基线性能较低（正常条件下为 20.81% mAP），但其 PDQ 得分更稳定，表明在扰动下具有更好的不确定性校准能力。
• 在同时存在高强度恶劣天气和 OOD 物体的条件下，所有模型的 mAP 均低于 13%，性能下降最为严重，凸显了 OOD 泛化的挑战。
• 研究证实，对某一类不确定性（如天气）鲁棒的模型，可能在另一类（如 OOD）下失效，强调了多源不确定性评估的必要性。
• 初步的从 MUAD 到 KITTI 的域自适应实验显示出有希望的结果，表明合成数据可有效支持真实世界部署流程。