[论文解读] WaterScenes: A Multi-Task 4D Radar-Camera Fusion Dataset and Benchmarks for Autonomous Driving on Water Surfaces

Shanliang Yao, Runwei Guan+12 more|arXiv (Cornell University)|Jul 13, 2023

Advanced Neural Network Applications被引用 5

一句话总结

本论文提出了WaterScenes，这是首个面向水面自主驾驶的多任务4D雷达-相机融合数据集，通过搭载4D雷达和单目相机的无人水面航行器（USV）采集而成。该数据集支持物体检测、实例/语义分割、自由空间分割以及水线分割等任务的像素级与点云级联合标注，表明雷达-相机融合能显著提升感知精度与鲁棒性，尤其在恶劣天气和低光照条件下表现突出。

ABSTRACT

Autonomous driving on water surfaces plays an essential role in executing hazardous and time-consuming missions, such as maritime surveillance, survivors rescue, environmental monitoring, hydrography mapping and waste cleaning. This work presents WaterScenes, the first multi-task 4D radar-camera fusion dataset for autonomous driving on water surfaces. Equipped with a 4D radar and a monocular camera, our Unmanned Surface Vehicle (USV) proffers all-weather solutions for discerning object-related information, including color, shape, texture, range, velocity, azimuth, and elevation. Focusing on typical static and dynamic objects on water surfaces, we label the camera images and radar point clouds at pixel-level and point-level, respectively. In addition to basic perception tasks, such as object detection, instance segmentation and semantic segmentation, we also provide annotations for free-space segmentation and waterline segmentation. Leveraging the multi-task and multi-modal data, we conduct benchmark experiments on the uni-modality of radar and camera, as well as the fused modalities. Experimental results demonstrate that 4D radar-camera fusion can considerably improve the accuracy and robustness of perception on water surfaces, especially in adverse lighting and weather conditions. WaterScenes dataset is public on https://waterscenes.github.io.

研究动机与目标

• 解决水面自主驾驶领域中多模态、多任务数据集的缺乏问题，特别是针对无人水面航行器（USVs）的应用。
• 克服仅依赖相机在恶劣天气、低光照以及动态水体条件（如反光与波浪扰动）下的感知局限性。
• 提供一个全面的雷达-相机融合基准，充分发挥4D雷达（抗恶劣天气、远距离、速度感知）与相机（高分辨率纹理与色彩）的互补优势。
• 支持在水面环境中开展多任务感知研究，包括物体检测、实例与语义分割、自由空间分割以及水线分割。
• 通过公开提供高质量、丰富标注的数据集，推动USV领域鲁棒、实时感知系统的研发。

提出的方法

• 部署搭载4D雷达与单目相机的USV，在多种水面条件下同步采集多模态数据。
• 针对多个感知任务（物体检测、实例分割、语义分割、自由空间分割、水线分割）进行数据采集与标注。
• 在相机图像上执行像素级标注，在4D雷达点云上执行点级标注，实现细粒度的多模态对齐。
• 设计并评估基于单模态（仅相机、仅雷达）与融合模态（雷达-相机）的基准模型，包括最先进的融合架构如Achelous。
• 采用多任务学习（MTL）框架，联合优化多个感知任务，提升特征共享效率与计算效率。
• 应用先进的融合技术，将4D雷达数据（距离、速度、方位角、俯仰角）与相机特征深度融合，提升在复杂条件下的检测与分割性能。

实验结果

研究问题

• RQ1 与单模态方法相比，4D雷达-相机融合是否能在水面环境中显著提升感知精度与鲁棒性？
• RQ2 在低光照、雾天、雨天等导致相机性能下降的恶劣光照与天气条件下，多模态融合的有效性如何？
• RQ3 在因反光与波浪动力学导致视觉线索模糊的水面上，雷达在辅助分割自由空间与水线方面的能力有多强？
• RQ4 在复杂水体环境中，融合雷达与相机数据的多任务学习目标（如联合检测与分割）能带来哪些性能增益？
• RQ5 当前感知模型在检测或分割小尺寸或接触面积小的物体（如漂浮垃圾）时，面临哪些关键挑战？

主要发现

• 与仅使用相机的基线模型（HybridNets）相比，雷达-相机融合将物体检测的mAP提升了15.7%，展现出显著的性能增益。
• 融合模型Achelous在所有任务中均优于仅相机与仅雷达的基线模型，尤其在低光照与恶劣天气条件下表现突出，涵盖自由空间与水线分割任务。
• 在低光照场景下，仅相机的分割任务会失效或出现严重错误，而融合模型仍能保持可靠性能，凸显雷达辅助的鲁棒性。
• 该数据集支持精准的全景感知，尽管由于反光与边界模糊带来的水线与自由空间分割存在明显挑战，但多模态融合可有效缓解此类问题。
• 即使未针对特定模型进行优化，雷达-相机融合仍优于仅相机模型，表明该融合方法本身具备内在鲁棒性。
• 该数据集揭示，传统基于相机的模型在应对镜面反光与波浪引起的畸变方面存在困难，而通过雷达数据融合可有效解决这些问题。