[论文解读] CARLANE Benchmark

Julian Gebele, Bonifaz Stuhr+1 more|arXiv (Cornell University)|Jun 16, 2022

Domain Adaptation and Few-Shot Learning被引用 2

一句话总结

CARLANE 为 2D 车道检测引入了一个三向模拟到真实世界的无监督域自适应基准，涵盖 MoLane、TuLane 和 MuLane 数据集，覆盖模拟环境和两个真实世界场景。该基准支持单目标和多目标域自适应，采用 SGPCS 方法建立了最先进基线，并揭示了无监督域自适应方法相较于完全监督模型存在较高的误报率和漏报率，凸显了该领域对更优基准的迫切需求。

ABSTRACT

Unsupervised Domain Adaptation demonstrates great potential to mitigate domain shifts by transferring models from labeled source domains to unlabeled target domains. While Unsupervised Domain Adaptation has been applied to a wide variety of complex vision tasks, only few works focus on lane detection for autonomous driving. This can be attributed to the lack of publicly available datasets. To facilitate research in these directions, we propose CARLANE, a 3-way sim-to-real domain adaptation benchmark for 2D lane detection. CARLANE encompasses the single-target datasets MoLane and TuLane and the multi-target dataset MuLane. These datasets are built from three different domains, which cover diverse scenes and contain a total of 163K unique images, 118K of which are annotated. In addition we evaluate and report systematic baselines, including our own method, which builds upon Prototypical Cross-domain Self-supervised Learning. We find that false positive and false negative rates of the evaluated domain adaptation methods are high compared to those of fully supervised baselines. This affirms the need for benchmarks such as CARLANE to further strengthen research in Unsupervised Domain Adaptation for lane detection. CARLANE, all evaluated models and the corresponding implementations are publicly available at https://carlanebenchmark.github.io.

研究动机与目标

• 为解决无监督域自适应（UDA）在车道检测领域缺乏公开基准的问题。
• 通过构建涵盖多样化真实世界驾驶场景的模拟到真实世界基准，实现单目标和多目标域自适应。
• 提供公开可用的数据集、基于 CARLA 的路径点代理用于数据采集，以及定制化标注工具用于真实世界图像的标注。
• 评估并系统性地建立车道检测中无监督域自适应的基线，包括一种新方法 SGPCS。
• 突出显示无监督域自适应与完全监督模型之间的性能差距，强调需要更强大的基准。

提出的方法

• 源域通过在 CARLA 模拟器中使用可配置的路径点代理生成，为 MoLane 收集了 80K 张图像，为 TuLane 收集了 24K 张图像。
• 目标域包括真实世界数据集：MoLane 使用来自 1/8 模型车辆轨迹的 44K 张未标注图像，TuLane 使用来自 TuSimple 美国高速公路数据集的 3,268 张图像。
• MuLane 整合了 MoLane 和 TuLane 的数据，创建了一个包含均衡合成与真实世界图像的多目标域自适应基准。
• 应用领域随机化和数据平衡以提升泛化能力并减少域偏移。
• 使用定制化标注工具对真实世界域中的 2,000 张验证图像和 1,000 张测试图像进行标注。
• 所提出的 SGPCS 方法在原型跨域自监督学习基础上引入伪标签机制，实现了最先进性能。

实验结果

研究问题

• RQ1 现有无监督域自适应方法在将车道检测模型从模拟环境迁移到多个真实世界场景时的有效性如何？
• RQ2 无监督域自适应与完全监督基线在车道检测中的性能差距有多大？
• RQ3 像 MuLane 这样的多目标域自适应基准能否为车道检测的域泛化提供新见解？
• RQ4 所提出的 SGPCS 方法与对抗性无监督域自适应方法（如 DANN、ADDA 和 SGADA）在模拟到真实世界的车道检测中相比表现如何？
• RQ5 领域随机化和数据平衡在多大程度上提升了真实世界车道检测任务中的无监督域自适应性能？

主要发现

• CARLANE 上的无监督域自适应方法表现出极高的误报率和漏报率，显著优于完全监督基线。
• 所提出的 SGPCS 方法在 CARLANE 基准上实现了最先进性能，证明了伪标签机制在跨域自监督学习中的有效性。
• 无监督域自适应与完全监督模型之间的性能差距依然显著，表明域偏移仍是模拟到真实世界车道检测中的主要挑战。
• 多目标基准 MuLane 使得对多样化真实世界驾驶场景下域泛化的有意义分析成为可能。
• 该基准揭示，即使采用领域随机化和数据平衡，域偏移仍严重损害车道检测性能。
• 所有数据集、模型和代码均公开发布于 https://carlanebenchmark.github.io，支持可复现性与未来研究。