[논문 리뷰] Aeolus Ocean -- A simulation environment for the autonomous COLREG-compliant navigation of Unmanned Surface Vehicles using Deep Reinforcement Learning and Maritime Object Detection

Andrew Alexander Vekinis, Stavros Perantonis|arXiv (Cornell University)|2023. 07. 13.

Maritime Navigation and SafetyEngineering인용 수 3

한 줄 요약

이 논문은 COLREGs를 준수하는 무인 수면선박(USV)의 딥 강화학습(DRL) 기반 자율 항법을 위한 고해상도 시뮬레이션 환경인 Aeolus Ocean을 소개한다. 이 시스템은 상황 인식을 위한 해양 표적 탐지 기능을 통합하여 실제 기상 및 조명 조건에서 개방된 해역과 복잡한 만남 상황에서의 웨이포인트 항법을 성공적으로 구현한다. 시뮬레이터와 훈련된 에이전트의 바이너리 실행 파일은 공개되어 있다.

ABSTRACT

Heading towards navigational autonomy in unmanned surface vehicles (USVs) in the maritime sector can fundamentally lead towards safer waters as well as reduced operating costs, while also providing a range of exciting new capabilities for oceanic research, exploration and monitoring. However, achieving such a goal is challenging. USV control systems must, safely and reliably, be able to adhere to the international regulations for preventing collisions at sea (COLREGs) in encounters with other vessels as they navigate to a given waypoint while being affected by realistic weather conditions, either during the day or at night. To deal with the multitude of possible scenarios, it is critical to have a virtual environment that is able to replicate the realistic operating conditions USVs will encounter, before they can be implemented in the real world. Such "digital twins" form the foundations upon which Deep Reinforcement Learning (DRL) and Computer Vision (CV) algorithms can be used to develop and guide USV control systems. In this paper we describe the novel development of a COLREG-compliant DRL-based collision avoidant navigational system with CV-based awareness in a realistic ocean simulation environment. The performance of the trained autonomous Agents resulting from this approach is evaluated in several successful navigations to set waypoints in both open sea and coastal encounters with other vessels. A binary executable version of the simulator with trained agents is available at https://github.com/aavek/Aeolus-Ocean

연구 동기 및 목표

• 복잡한 해양 환경에서 자율 USV를 훈련시키기 위한 현실적이고 고해상도의 시뮬레이션 환경을 개발하는 것.
• 해양 표적 탐지를 통한 실시간 상황 인식을 통해 딥 강화학습(DRL)을 활용한 COLREGs 준수 항법을 가능하게 하는 것.
• 다양한 항법 작업, 특히 다른 선박과의 만남이 있는 개방된 해역 및 해안선 상황에서 훈련된 DRL 에이전트의 성능을 검증하는 것.
• 재현 가능성과 향후 연구를 위해 시뮬레이터와 훈련된 에이전트의 공개 가능한 바이너리 버전을 제공하는 것.
• 실제 기상, 조명, 동적 선박 상호작용을 모델링하여 시뮬레이션과 실제 적용 간 격차를 해소하는 것.

제안 방법

• 시뮬레이션 환경인 Aeolus Ocean은 바람, 파도, 일출/일몰 주기 등을 포함한 현실적인 해양 조건을 재현한다.
• DRL 에이전트는 충돌을 방지하면서 목표 웨이포인트로 USV를 이동시키기 위해 훈련되며, 보상 함수가 COLREGs 준수를 우선시한다.
• 컴퓨터 비전 파이프라인을 통해 해양 표적 탐지를 통합하여 다른 선박을 탐지하고 추적함으로써 실시간 상황 인식을 가능하게 한다.
• DRL 에이전트는 시뮬레이션된 카메라에서 온 시각적 관측치를 처리하여 항법 결정을 내리며, COLREGs 규칙 준수를 보장한다.
• 환경은 실시간 교통 패턴을 따르는 동적 비플레이어 제어 선박이 있는 개방된 해역 및 해안선 항법 시나리오를 모두 지원한다.
• 훈련된 에이전트가 포함된 시뮬레이터의 바이너리 실행 파일이 공개되어 즉각적인 배포 및 벤치마킹이 가능하다.

실험 결과

연구 질문

• RQ1 DRL 기반 항법 시스템은 복잡하고 동적인 해양 환경에서 COLREGs 준수 행동을 달성할 수 있는가?
• RQ2 해양 표적 탐지 통합이 자율 USV의 실시간 상황 인식 능력 향상에 얼마나 효과적인가?
• RQ3 DRL 에이전트는 개방된 해역 항법과 다른 선박과의 근접 만남을 포함한 다양한 시나리오에 일반화할 수 있는가?
• RQ4 시뮬레이터의 현실성은 훈련된 에이전트의 일반화 능력과 내구성에 어떤 영향을 미치는가?
• RQ5 훈련된 에이전트는 실제 기상 및 조명 조건 하에서 안전하고 효율적인 웨이포인트 항법을 얼마나 잘 달성할 수 있는가?

주요 결과

• DRL 에이전트는 개방된 해역 및 해안선 상황 모두에서 COLREGs 규칙 위반 없이 웨이포인트로 성공적으로 항행했다.
• 해양 표적 탐지 기능의 통합은 에이전트가 주변 선박을 실시간으로 탐지하고 대응할 수 있는 능력을 크게 향상시켰다.
• 에이전트는 일광 및 야간 운영을 포함한 다양한 기상 조건에서도 견고한 성능을 보였다.
• 시뮬레이션 환경은 안정적이고 재현 가능한 훈련을 가능하게 하였으며, 훈련된 에이전트가 예측할 수 없는 시나리오로도 잘 일반화되었다.
• 훈련된 에이전트와 함께 공개된 바이너리 실행 파일은 실제 테스트 및 향후 연구를 위한 즉각적인 사용과 벤치마킹을 가능하게 한다.