[论文解读] Domain Adaptive Object Detection for Autonomous Driving under Foggy Weather

Jinlong Li, Runsheng Xu+4 more|arXiv (Cornell University)|Oct 27, 2022

Advanced Neural Network Applications被引用 7

一句话总结

该论文提出了一种针对雾天自动驾驶场景的领域自适应目标检测框架，通过结合图像级与目标级领域自适应，并引入一种新型对抗性梯度反转层（AdvGRL）以实现困难样本挖掘，同时通过数据增强生成的辅助领域实现领域级度量正则化。该方法在Cityscapes到Foggy Cityscapes基准上实现了42.34的SOTA mAP，显著优于未使用领域自适应的基线模型。

ABSTRACT

Most object detection methods for autonomous driving usually assume a consistent feature distribution between training and testing data, which is not always the case when weathers differ significantly. The object detection model trained under clear weather might not be effective enough in foggy weather because of the domain gap. This paper proposes a novel domain adaptive object detection framework for autonomous driving under foggy weather. Our method leverages both image-level and object-level adaptation to diminish the domain discrepancy in image style and object appearance. To further enhance the model's capabilities under challenging samples, we also come up with a new adversarial gradient reversal layer to perform adversarial mining for the hard examples together with domain adaptation. Moreover, we propose to generate an auxiliary domain by data augmentation to enforce a new domain-level metric regularization. Experimental results on public benchmarks show the effectiveness and accuracy of the proposed method. The code is available at https://github.com/jinlong17/DA-Detect.

研究动机与目标

• 解决清晰天气与雾天驾驶场景之间在自动驾驶目标检测中的领域偏移问题。
• 通过减少图像风格与目标外观的领域差异，提升模型在恶劣天气下的泛化能力。
• 通过迁移学习过程中的对抗性挖掘，增强对困难样本的学习。
• 提出一种基于数据增强生成的辅助领域的新领域级度量正则化方法。
• 开发一个统一框架，在无需标注雾天数据的情况下提升雾天条件下的鲁棒性。

提出的方法

• 利用图像级与目标级领域分类器，学习清晰与雾天领域之间的领域不变特征。
• 引入一种新型对抗性梯度反转层（AdvGRL），通过梯度反转动态识别并聚焦于训练过程中的困难样本。
• 通过数据增强（如降雨合成）生成辅助领域，提出一种新颖的领域级度量正则化方法，以约束源域、辅助域与目标域之间的特征距离。
• 采用多任务损失函数，联合优化检测损失、领域分类损失与度量正则化损失。
• 使用可学习阈值β与α的AdvGRL，根据特征L1距离计算的样本难易度动态控制梯度反转。
• 仅使用标注的清晰天气图像与未标注的雾天图像，以无监督方式训练模型。

Figure 1: Illustration of the domain adaptive object detection for autonomous driving: (a) Faster R-CNN [ 37 ] detection under clear weather, (b) Faster R-CNN detection under foggy weather without domain adaptation, (c) Faster R-CNN detection under foggy weather with the proposed domain adaptation.

实验结果

研究问题

• RQ1 联合图像级与目标级领域自适应是否能有效减少雾天目标检测中的领域偏移？
• RQ2 通过梯度反转机制进行对抗性困难样本挖掘，是否能提升模型在低能见度条件下的鲁棒性？
• RQ3 通过数据增强生成的辅助领域是否能增强领域级度量正则化并提升迁移性能？
• RQ4 所提方法在真实雾天基准上与基线领域自适应模型及源域仅训练模型相比表现如何？
• RQ5 损失权重与阈值等超参数对最终检测精度的影响程度如何？

主要发现

• 所提方法在Cityscapes-to-Foggy Cityscapes基准上实现了42.34的平均平均精度（mAP），优于仅使用图像与目标级自适应的基线Faster R-CNN（41.30 mAP）。
• 消融实验表明，AdvGRL与领域级度量正则化均对性能有积极贡献，完整模型（img+obj+AdvGRL+Reg）达到最高mAP。
• 采用基于CycleGAN的领域随机化方法仅获得32.8 mAP，表明标准领域随机化对雾天等复杂领域偏移不足。
• 通过常规数据增强（颜色变化、模糊、噪声）生成辅助领域仅获得38.7 mAP，低于所提基于降雨合成的辅助领域方法所实现的42.34 mAP。
• 未使用预训练的模型仍达到42.34 mAP，略优于使用预训练Faster R-CNN的41.30 mAP，表明所提方法对初始化具有鲁棒性。
• 定性结果表明，与基线模型相比，该模型在雾天条件下的目标检测性能显著提升，漏检更少，边界框更准确。

Figure 2: The architecture of proposed domain adaptive object detection for autonomous driving under foggy weather. Based on the traditional Faster R-CNN architecture [ 37 ] , the image-level and object-level domain adaptations with adversarial gradient reversal layer (AdvGRL) and domain-level metri