[논문 리뷰] Stonefish: Supporting Machine Learning Research in Marine Robotics

Michele Grimaldi, Patryk Cieśląk외 7명|ArXiv.org|2025. 02. 17.

Underwater Vehicles and Communication Systems인용 수 3

한 줄 요약

Stonefish는 GPU 가속 센서, VLC, 향상된 소나, 밧줄 지원, 고급 추진기 모델, 해양 로보틱스의 ML을 위한 지상참 데이터 생성을 개선하는 자동 주석 도구를 포함한 기능을 강화한 오픈 소스 해양 로보틱스 시뮬레이터입니다.

ABSTRACT

Simulations are highly valuable in marine robotics, offering a cost-effective and controlled environment for testing in the challenging conditions of underwater and surface operations. Given the high costs and logistical difficulties of real-world trials, simulators capable of capturing the operational conditions of subsea environments have become key in developing and refining algorithms for remotely-operated and autonomous underwater vehicles. This paper highlights recent enhancements to the Stonefish simulator, an advanced open-source platform supporting development and testing of marine robotics solutions. Key updates include a suite of additional sensors, such as an event-based camera, a thermal camera, and an optical flow camera, as well as, visual light communication, support for tethered operations, improved thruster modelling, more flexible hydrodynamics, and enhanced sonar accuracy. These developments and an automated annotation tool significantly bolster Stonefish's role in marine robotics research, especially in the field of machine learning, where training data with a known ground truth is hard or impossible to collect.

연구 동기 및 목표

• 해양 로보틱스 연구를 현실적이고 확장 가능한 시뮬레이션 플랫폼을 제공함으로써 발전시킨다.
• 다양한 센서에 걸친 지상참 주석 데이터로 ML 개발을 가능하게 한다.
• ROV/AUV의 수중 역학, 감지, 통신 현실성을 개선한다.
• 수중 로봇 공학의 데이터 생성 및 강화 학습 워크플로우를 촉진한다.

제안 방법

• Stonefish의 렌더링 파이프라인에 GPU-가속 센서(Event-based camera, thermal camera, optical flow)을 통합한다.
• 셔다 기반 처리, TOF, 거리 인식 강도 모델링을 포함한 전방향 소나 시뮬레이션 업그레이드.
• ESIM에 따른 per-pixel 병렬성과 프레임 간 원자 일관성을 가진 이벤트 기반 카메라 출력을 구현한다.
• 강력한 공유 자율성 시나리오 테스트를 위해 비주얼 라이트 커뮤니케이션(VLC) 모뎀 지원 및 ROS2 미들웨어 연결을 추가한다.
• 여러 로터 다이내믹스, 다중 추진력/난류 생성 옵션을 포함한 고급 추진기 모델 및 표면/UWV 결합용 모듈형 계류 시뮬레이션을 개발한다.
• 메시와 카메라 뷰에서 의미론적, 인스턴스, 팬튜믹 분할 및 YOLOv5 기반 바운딩 박스 생성을 가능하게 하는 자동 데이터 주석 도구를 제공한다.

실험 결과

연구 질문

• RQ1 Stonefish를 확장하여 해양 로보틱스에서 ML용으로 현실적이고 지상참이 풍부한 데이터 세트를 어떻게 제공할 수 있는가?
• RQ2 새로운 센서와 물리 모델이 학습 기반 방법을 위한 해양 로보틱스 시뮬레이션의 현실성 및 유용성에 어떤 영향을 미치는가?
• RQ3 자동 주석 및 OpenGym 통합이 수중 로보틱스의 ML 연구 워크플로우를 가속화할 수 있는가?
• RQ4 계류 및 VLC 통신 기능이 해양 플랫폼의 자율성 개발 및 테스트에 어떤 영향을 미치는가?
• RQ5 현실성 및 계산 효율성 측면에서 다양한 추진기와 수류 역학 모델 간의 트레이드오프는 무엇인가?

주요 결과

• Stonefish는 이제 GPU-가속 센서(EBC, 열영상, 광학 흐름), VLC, 계류, 향상된 소나 및 개선된 추진기 동역학을 통해 더 현실적인 ML 데이터 생성을 지원합니다.
• 자동 주석 도구를 통해 의미론적, 인스턴스 및 팬토믹 분할은 물론 YOLOv5를 통한 바운딩 박스를 가능하게 하여 라벨링 데이터 생성을 가속합니다.
• Python 바인딩이 있는 OpenGym 통합은 ROS 병목 현상 없이 RL 연구를 가능하게 하여 병렬 학습 및 확장 가능한 실험을 촉진합니다.
• 향상된 전방향 소나 셰이더와 Perlin 노이즈 기반의 현실성으로 실제 하드웨어에 더 근접한 소나 출력을 제공합니다.
• 계류 모델링 및 구성 가능한 추진기 다이내믹스는 다양한 실험 설정에 맞춘 유연한 모듈식 옵션을 제공합니다.