[论文解读] 1st Workshop on Maritime Computer Vision (MaCVi) 2023: Challenge Results

Benjamin Kiefer, Matej Kristan+71 more|arXiv (Cornell University)|Nov 24, 2022

Maritime Navigation and Safety被引用 12

一句话总结

本文介绍了2023年首届海上计算机视觉研讨会（MaCVi 2023）的成果，该研讨会基于SeaDronesSee和MODS基准对无人机（UAV）和无人水面艇（USV）的物体检测、跟踪及障碍物分割/检测任务进行了评估。本文推出了扩展类别的SeaDronesSee物体检测v2版本，新增了更多类别和视频片段，报告了超过130份参赛作品，并分析了顶尖方法的趋势，所有数据集、代码和排行榜均公开提供，以支持可复现性和基准测试。

ABSTRACT

The 1$^{ ext{st}}$ Workshop on Maritime Computer Vision (MaCVi) 2023 focused on maritime computer vision for Unmanned Aerial Vehicles (UAV) and Unmanned Surface Vehicle (USV), and organized several subchallenges in this domain: (i) UAV-based Maritime Object Detection, (ii) UAV-based Maritime Object Tracking, (iii) USV-based Maritime Obstacle Segmentation and (iv) USV-based Maritime Obstacle Detection. The subchallenges were based on the SeaDronesSee and MODS benchmarks. This report summarizes the main findings of the individual subchallenges and introduces a new benchmark, called SeaDronesSee Object Detection v2, which extends the previous benchmark by including more classes and footage. We provide statistical and qualitative analyses, and assess trends in the best-performing methodologies of over 130 submissions. The methods are summarized in the appendix. The datasets, evaluation code and the leaderboard are publicly available at https://seadronessee.cs.uni-tuebingen.de/macvi.

研究动机与目标

• 通过无人机（UAV）和无人水面艇（USV）评估并推进海上计算机视觉方法。
• 解决在水体反光、光照变化多端以及小目标尺寸等不利条件下进行海上物体检测与跟踪的挑战。
• 推出改进后的基准数据集SeaDronesSee Object Detection v2，增加更多类别和多样化视频片段，以支持未来研究。
• 分析超过130份参赛作品在四个子挑战中的趋势与性能表现：基于无人机的检测与跟踪、基于无人水面艇的障碍物分割与检测。
• 提供公开可访问的数据集、评估代码和排行榜，以促进海上计算机视觉领域的可复现性与基准测试。

提出的方法

• 该挑战使用SeaDronesSee和MODS基准，对无人机和无人水面艇平台上的物体检测、跟踪及障碍物分割任务进行评估。
• 对于基于无人机的检测任务，模型采用多尺度输入（1920x1080至2688x1512）和数据增强技术（包括随机伽马、亮度对比度调整及RGB偏移）进行训练与测试。
• 采用基于YOLOv7的检测器，结合MMDetection框架，使用2块Tesla V100 GPU，实现约5 FPS的推理速度。
• 针对无人水面艇障碍物检测，提出了一种基于先验知识的并行残差双向融合特征金字塔网络（PPRB-FPN），通过引入岸线掩码先验知识以减少误报。
• PPRB-FPN模型采用YOLOv7作为主干网络，应用数据增强技术（Mixout、CutMix、颜色抖动、随机旋转），在单张V100 GPU上以批量大小64进行训练。
• OceanU中使用了经过E-ELAN改进的YOLOv7，基于MODS数据集进行微调，采用类别重分配（将人员、船只及其他对象归类为“其他”），并针对水域区域检测进行了优化。

实验结果

研究问题

• RQ1 当前计算机视觉模型在水体反光、光照变化多端以及小目标尺寸等复杂条件下检测小型海上物体时，其性能趋势与局限性是什么？
• RQ2 基于先验知识的方法（如岸线掩码过滤）在复杂海上场景中减少无人水面艇障碍物检测误报方面的有效性如何？
• RQ3 通过增加更多物体类别和多样化视频片段扩展基准数据集，在多大程度上提升了模型的泛化能力与评估鲁棒性？
• RQ4 不同的数据增强与训练策略在海上物体检测任务中对推理速度与准确率的影响如何？
• RQ5 在无人机与无人水面艇海上视觉挑战中，哪些关键的网络架构与优化选择促成了最先进性能的实现？

主要发现

• 推出了SeaDronesSee Object Detection v2基准，通过新增物体类别和新视频片段，扩展了原始数据集，以支持更广泛且更真实的评估。
• 分析了超过130份参赛作品，发现采用多尺度推理和先进数据增强技术的模型在所有子挑战中均取得了更高的mAP得分。
• PPRB-FPN方法通过利用岸区先验知识有效抑制了误报，显著提升了无人水面艇障碍物检测的可靠性，表现出优异性能。
• 基于YOLOv7的模型在V100 GPU上实现了约5 FPS的推理速度，展现出良好的实时性，适用于嵌入式平台部署。
• 使用MS-COCO预训练权重并结合类别重分配（如将所有非人员/非船只对象归为“其他”）显著提升了罕见海上类别训练的稳定性与检测准确率。
• 排行榜以及数据集、代码和评估工具的公开可用性，保障了研究的可复现性，并为未来海上计算机视觉研究奠定了基础。