[论文解读] Stonefish: Supporting Machine Learning Research in Marine Robotics

Michele Grimaldi, Patryk Cieśląk+7 more|ArXiv.org|Feb 17, 2025

Underwater Vehicles and Communication Systems被引用 3

一句话总结

Stonefish 是一个开源的海洋机器人仿真器，增强包括 GPU 加速传感器、VLC、改进的声纳、绳缆支持、先进的推进器模型，以及用于海洋机器人 ML 训练数据注释的自动注释工具。

ABSTRACT

Simulations are highly valuable in marine robotics, offering a cost-effective and controlled environment for testing in the challenging conditions of underwater and surface operations. Given the high costs and logistical difficulties of real-world trials, simulators capable of capturing the operational conditions of subsea environments have become key in developing and refining algorithms for remotely-operated and autonomous underwater vehicles. This paper highlights recent enhancements to the Stonefish simulator, an advanced open-source platform supporting development and testing of marine robotics solutions. Key updates include a suite of additional sensors, such as an event-based camera, a thermal camera, and an optical flow camera, as well as, visual light communication, support for tethered operations, improved thruster modelling, more flexible hydrodynamics, and enhanced sonar accuracy. These developments and an automated annotation tool significantly bolster Stonefish's role in marine robotics research, especially in the field of machine learning, where training data with a known ground truth is hard or impossible to collect.

研究动机与目标

• 通过提供现实、可扩展的仿真平台来推进海洋机器人研究。
• 使 ML 开发能够获得跨多传感器的丰富、带有地面真实注释的数据。
• 提高水下动力学、感知与通信在 ROV/ AUV 中的真实感。
• 促进水下机器人数据生成和强化学习工作流的建立。

提出的方法

• 将 GPU 加速传感器（事件相机、热成像相机、光流）集成到 Stonefish 的渲染管线。
• 使用着色器处理、TOF 以及距离感知强度建模来升级前向声纳仿真。
• 实现按像素并行与跨帧原子一致性的事件相机输出，遵循 ESIM 设计。
• 新增可视化光通信（VLC）调制解调器支持和 ROS2 中间件连接，以对共享自治场景进行稳健测试。
• 开发高级推进器模型（多转子动力学、多个推力/湍流生成选项）及可模块化的绳缆仿真，以实现 surface/UWV 耦合。
• 提供自动数据注释工具，实现语义、实例、全景分割、点云标注，以及基于 YOLOv5 的从网格和相机视图生成边界框。

实验结果

研究问题

• RQ1 Stonefish 如何扩展以提供真实、地面真实注释丰富的数据集用于海洋机器人中的 ML？
• RQ2 新传感器与物理模型对学习型方法的现实性与实用性有何影响？
• RQ3 自动注释与 OpenGym 集成是否能加速水下机器人中的 ML 研究工作流？
• RQ4 绳缆与 VLC 通信特性如何影响海洋平台的自治开发与测试？
• RQ5 不同推进器与流体动力学模型在真实感与计算效率方面的权衡是什么？

主要发现

• Stonefish 现已支持 GPU 加速传感器（事件相机、热成像、光流）、VLC、绳缆、改进的声纳，以及增强的推进器动力学，使 ML 数据生成更加真实。
• 自动注释工具实现了语义、实例与全景分割，以及通过 YOLOv5 的边界框标注，加速标注数据的创建。
• 与 Python 绑定的 OpenGym 集成使 RL 研究在没有 ROS 瓶颈的情况下进行，便于并行训练和可扩展的实验。
• 改进的前向声纳着色器与基于 Perlin 噪声的真实感输出，使声纳结果更接近真实设备。
• 绳缆建模与可配置的推进器动力学提供灵活的、模块化选项，以匹配多样的实验设置。