[论文解读] Pixel and Feature Level Based Domain Adaption for Object Detection in Autonomous Driving

Yuhu Shan, Wen Feng Lu+1 more|arXiv (Cornell University)|Sep 30, 2018

Domain Adaptation and Few-Shot Learning参考文献 49被引用 5

一句话总结

本文提出了一种用于自动驾驶目标检测的新型无监督域自适应框架，该框架联合执行像素级图像转换和特征级对抗自适应。通过利用CycleGAN实现域不变的图像转换，并结合基于区域建议的特征对抗训练，该方法显著减少了合成与真实驾驶图像之间的域偏移，在端到端训练下实现了最先进（SOTA）的检测性能，准确率最高提升达2%。

ABSTRACT

Annotating large scale datasets to train modern convolutional neural networks is prohibitively expensive and time-consuming for many real tasks. One alternative is to train the model on labeled synthetic datasets and apply it in the real scenes. However, this straightforward method often fails to generalize well mainly due to the domain bias between the synthetic and real datasets. Many unsupervised domain adaptation (UDA) methods are introduced to address this problem but most of them only focus on the simple classification task. In this paper, we present a novel UDA model to solve the more complex object detection problem in the context of autonomous driving. Our model integrates both pixel level and feature level based transformtions to fulfill the cross domain detection task and can be further trained end-to-end to pursue better performance. We employ objectives of the generative adversarial network and the cycle consistency loss for image translation in the pixel space. To address the potential semantic inconsistency problem, we propose region proposal based feature adversarial training to preserve the semantics of our target objects as well as further minimize the domain shifts. Extensive experiments are conducted on several different datasets, and the results demonstrate the robustness and superiority of our method.

研究动机与目标

• 解决在目标检测中合成数据集与真实世界驾驶数据集之间的域偏移问题。
• 提升在合成数据上训练的模型在真实自动驾驶环境中的泛化能力。
• 开发一种统一的无监督域自适应框架，实现像素级与特征级的联合优化。
• 在域自适应过程中保持目标对象（如车辆、行人）的语义完整性。
• 实现端到端训练，联合优化图像转换与检测性能。

提出的方法

• 使用带有循环一致性损失的CycleGAN，将合成图像（如Sim10k）转换为真实数据集（如Cityscapes、KITTI）的视觉风格。
• 应用像素级域自适应（PDA）模块，通过生成对抗网络对齐源域与目标域之间的图像分布。
• 引入基于区域建议的特征对抗训练（FDA），在最小化特征空间域差异的同时保留对象语义。
• 在端到端训练流程中结合PDA与FDA模块，联合优化图像转换与检测性能。
• 使用在转换后的源图像上训练的Faster R-CNN检测器，提升在真实目标域上的检测泛化能力。
• 采用两阶段训练流程：首先分别预训练PDA与FDA模块，然后对完整网络进行10轮端到端微调。

实验结果

研究问题

• RQ1 联合像素级与特征级域自适应是否能提升从合成数据到真实世界驾驶数据集的目标检测性能？
• RQ2 通过CycleGAN结合循环一致性损失进行图像转换，在减少目标检测的域偏移方面效果如何？
• RQ3 基于区域建议的特征对抗训练是否能在自适应过程中保持关键对象（如汽车、行人）的语义完整性？
• RQ4 与单独训练模块相比，端到端微调在多大程度上提升了检测准确率？
• RQ5 该方法在面对多样的域偏移（如天气变化：雾、雨，以及场景布局变化：高速公路与城市道路）时是否具有鲁棒性？

主要发现

• 所提方法在多个跨域目标检测基准上达到最先进性能，包括Sim10k → Cityscapes、Cityscapes → KITTI，以及Cityscapes → Foggy-Cityscapes。
• 端到端训练相比非端到端基线模型，检测mAP提升1%至2%，证明了联合优化的优势。
• 图像转换结果表明，道路的结构布局得以保留，关键对象（如车辆）即使在域偏移下仍保持其语义特征。
• 该方法成功应对了如雾、雨等具有挑战性的域偏移，如从Cityscapes到Foggy-Cityscapes，以及从KITTI到VKITTI-Rainy的转换。
• 定性结果表明，端到端训练显著提升了对象细节的保留能力，如汽车车顶，尤其在对象靠近或与背景融合时表现更优。
• 推理时间与标准Faster R-CNN保持一致（在VGG16和Tesla M40上为165 ms），因为测试时已移除图像转换模块。