[论文解读] In Rain or Shine: Understanding and Overcoming Dataset Bias for Improving Robustness Against Weather Corruptions for Autonomous Vehicles

Aboli Marathe, Rahee Walambe+1 more|arXiv (Cornell University)|Apr 3, 2022

Advanced Neural Network Applications被引用 7

一句话总结

本文识别并缓解了在COCO和VOC等标准数据集上训练的物体检测（OD）模型中存在的“好天气偏差”，这些模型在恶劣天气数据上表现欠佳。本文提出两种方法——使用真实DAWN数据集图像进行知识迁移，以及对训练图像进行合成的双高斯模糊处理——在DAWN数据集上实现了26.25 mAP的性能，相比基线模型提升了7倍，显著增强了模型在真实世界天气退化情况下的鲁棒性。

ABSTRACT

Several popular computer vision (CV) datasets, specifically employed for Object Detection (OD) in autonomous driving tasks exhibit biases due to a range of factors including weather and lighting conditions. These biases may impair a model's generalizability, rendering it ineffective for OD in novel and unseen datasets. Especially, in autonomous driving, it may prove extremely high risk and unsafe for the vehicle and its surroundings. This work focuses on understanding these datasets better by identifying such "good-weather" bias. Methods to mitigate such bias which allows the OD models to perform better and improve the robustness are also demonstrated. A simple yet effective OD framework for studying bias mitigation is proposed. Using this framework, the performance on popular datasets is analyzed and a significant difference in model performance is observed. Additionally, a knowledge transfer technique and a synthetic image corruption technique are proposed to mitigate the identified bias. Finally, using the DAWN dataset, the findings are validated on the OD task, demonstrating the effectiveness of our techniques in mitigating real-world "good-weather" bias. The experiments show that the proposed techniques outperform baseline methods by averaged fourfold improvement.

研究动机与目标

• 识别并量化用于自动驾驶的主流物体检测数据集中存在的“好天气偏差”。
• 使用标准评估指标在DAWN数据集上测量该偏差的程度。
• 开发并验证有效的技术手段以缓解该偏差，从而提升模型在恶劣天气条件下的鲁棒性。

提出的方法

• 提出一个三阶段框架以识别偏差：在标准数据集上进行训练，在好天气数据上进行测试，并在DAWN数据集的恶劣天气数据上评估性能。
• 通过微调在VOC 2017上预训练的模型，利用来自DAWN数据集的真实图像实现知识迁移。
• 通过双高斯模糊对训练数据进行合成图像退化，以模拟恶劣天气影响。
• 在经过退化的VOC 2017数据上训练物体检测模型，并在DAWN测试集上评估性能。
• 使用标准物体检测指标（mAP、各类AP）比较基线方法与缓解方法的性能。
• 在DAWN数据集上验证结果，该数据集是用于天气退化自动驾驶图像的真实世界基准。

实验结果

研究问题

• RQ1 标准物体检测模型在DAWN数据集的天气退化图像上测试时，性能下降程度如何？
• RQ2 能否使用标准评估指标定量测量物体检测模型中的“好天气偏差”？
• RQ3 使用目标恶劣天气数据集的真实图像进行知识迁移，能否提升模型的鲁棒性？
• RQ4 合成图像退化技术能否有效模拟真实世界的天气退化，从而提升泛化能力？
• RQ5 在分布外天气条件下，知识迁移与合成退化哪种缓解策略表现更优？

主要发现

• 在COCO和VOC 2017等标准数据集上训练的模型在DAWN数据集上表现出严重性能下降，mAP从VOC上的74.95降至7.00，COCO上的28.37降至9.50。
• 知识迁移方法使DAWN上的mAP从7.00提升至5.50，公交车类别的AP提升了7，表明有适度但可测量的改进。
• 合成双高斯模糊方法实现了22.5 mAP的提升，使DAWN上的mAP从7.00提升至26.25，且自行车检测的AP提升至92。
• 双高斯模糊技术在mAP提升方面比知识迁移高出7倍，证明其在抵御天气退化方面具有更优的鲁棒性。
• 自行车类别在恶劣天气下尤其难以检测，但合成退化方法显著提升了该类别的检测性能。
• 本研究证实，“好天气偏差”是自动驾驶感知中的关键问题，且合成数据增强是一种极为有效的缓解策略。