[论文解读] MODS -- A USV-oriented object detection and obstacle segmentation benchmark

Borja Bovcon, Jon Muhovič+4 more|arXiv (Cornell University)|May 5, 2021

Maritime Navigation and Safety参考文献 77被引用 92

一句话总结

本文提出了MODS，一个面向无人水面艇（USV）感知的新基准，统一了海上目标检测与障碍物分割任务。该基准包含一个大规模、IMU同步的立体图像数据集，共80,828张图像，标注了60,000多个障碍物，并提出了一套新颖的评估协议，以衡量对实际USV导航具有实际意义的检测准确率。该基准评估了19种最先进方法，揭示了通用模型在小目标上的表现欠佳，而专为海洋环境设计的架构（如WaSR）则在误报控制方面表现更优。

ABSTRACT

Small-sized unmanned surface vehicles (USV) are coastal water devices with a broad range of applications such as environmental control and surveillance. A crucial capability for autonomous operation is obstacle detection for timely reaction and collision avoidance, which has been recently explored in the context of camera-based visual scene interpretation. Owing to curated datasets, substantial advances in scene interpretation have been made in a related field of unmanned ground vehicles. However, the current maritime datasets do not adequately capture the complexity of real-world USV scenes and the evaluation protocols are not standardised, which makes cross-paper comparison of different methods difficult and hinders the progress. To address these issues, we introduce a new obstacle detection benchmark MODS, which considers two major perception tasks: maritime object detection and the more general maritime obstacle segmentation. We present a new diverse maritime evaluation dataset containing approximately 81k stereo images synchronized with an on-board IMU, with over 60k objects annotated. We propose a new obstacle segmentation performance evaluation protocol that reflects the detection accuracy in a way meaningful for practical USV navigation. Nineteen recent state-of-the-art object detection and obstacle segmentation methods are evaluated using the proposed protocol, creating a benchmark to facilitate development of the field. The proposed dataset, as well as evaluation routines, are made publicly available at vicos.si/resources.

研究动机与目标

• 为解决USV感知领域缺乏标准化、大规模且多样化的数据集，特别是障碍物检测与分割方面的不足。
• 克服现有海洋数据集的局限性，这些数据集未能捕捉真实世界的复杂性，且缺乏一致的评估协议。
• 通过引入统一基准与标准化评估指标，实现USV感知方法在不同论文间的客观比较。
• 识别当前最先进模型在真实USV场景中应用时的性能差距，尤其是对小目标和远距离障碍物的处理能力。
• 通过公开提供数据、训练集与评估代码，加速自主USV导航技术的发展。

提出的方法

• 作者采集了一个新的立体RGB数据集，包含80,828张来自USV在多种天气条件下运行时的同步图像，并通过IMU进行时间戳标记以实现精确同步。
• 数据集包含详细标注：对60,000多个动态障碍物（如游泳者、浮标、船只）进行边界框标注，对静态障碍物（如海岸线、码头）和可航行区域进行像素级分割掩码标注。
• 设计了一套新的障碍物分割评估协议，以衡量对USV导航具有实际意义的检测准确率，重点在于误报控制与边缘检测精度。
• 该协议计算关键指标，如真正例率（RTP）、假正例率（RFP）以及危险区域内的检测比率（∇T, ∇F）。
• 基准包含为检测与分割任务精心整理的训练集，支持模型的一致性训练与评估。
• 评估基于Python实现，并应用于19种最先进模型，包括Mask R-CNN、FCOS以及专用于分割的网络（如WaSR与BiSeNet）。

实验结果

研究问题

• RQ1 最先进物体检测与分割模型在大规模、真实世界USV数据集上，面对多变环境条件时的表现如何？
• RQ2 通用模型（如在COCO上预训练的模型）在海上障碍物检测中存在哪些关键失败模式，特别是在小目标或远距离目标上？
• RQ3 与色彩迁移相比，几何增强在USV特定训练中对分割性能的提升程度如何？
• RQ4 所提出的评估协议如何揭示标准指标（如mAP）未能捕捉到的性能差异？
• RQ5 基于分割的障碍物检测方法是否能在真实USV运行约束下实现实时性能并保持鲁棒的边缘检测？

主要发现

• 通用目标检测器在MODS上的F1分数约为COCO的六分之一，表明存在显著的领域特异性挑战。
• 所有方法在小目标与极小目标上的召回率均较低，其中游泳者与浮标漏检率最高，尽管整体精确率尚可。
• Mask R-CNN在整体检测与识别性能上表现最佳，而FCOS在USV附近仅检测任务中表现最优，可在高端GPU上实现约14 FPS的推理速度。
• 专为海洋环境设计的模型WaSR在障碍物分割任务中取得最佳F1分数，主要得益于极低的假正例率（危险区域仅0.5%）与极高的真正例率（大目标达98.8%）。
• 顶级方法中的假正例多为微小目标，表明提升对小而远距离障碍物的检测能力是当前主要瓶颈。
• 如RefineNet与BiSeNet等分割模型能稳健检测水体-障碍物边界（准确率>97%），但偶尔会过度延伸至边缘，增加碰撞风险。