[論文レビュー] Aeolus Ocean -- A simulation environment for the autonomous COLREG-compliant navigation of Unmanned Surface Vehicles using Deep Reinforcement Learning and Maritime Object Detection

Andrew Alexander Vekinis, Stavros Perantonis|arXiv (Cornell University)|Jul 13, 2023

Maritime Navigation and SafetyEngineering被引用数 3

ひとこと要約

本論文は、COLREGsに準拠する自律航行を実現する無人海上船舶（USV）のための、高精細度なシミュレーション環境「Aeolus Ocean」を紹介する。このシステムは状況認識を実現するための海事オブジェクト検出を統合し、現実的な天候および照明条件下で、開けた海や複雑な接近状況においてもウェイポイント航行に成功している。シミュレータおよび学習済みエージェントのバイナリ実行可能ファイルを公開しており、利用可能である。

ABSTRACT

Heading towards navigational autonomy in unmanned surface vehicles (USVs) in the maritime sector can fundamentally lead towards safer waters as well as reduced operating costs, while also providing a range of exciting new capabilities for oceanic research, exploration and monitoring. However, achieving such a goal is challenging. USV control systems must, safely and reliably, be able to adhere to the international regulations for preventing collisions at sea (COLREGs) in encounters with other vessels as they navigate to a given waypoint while being affected by realistic weather conditions, either during the day or at night. To deal with the multitude of possible scenarios, it is critical to have a virtual environment that is able to replicate the realistic operating conditions USVs will encounter, before they can be implemented in the real world. Such "digital twins" form the foundations upon which Deep Reinforcement Learning (DRL) and Computer Vision (CV) algorithms can be used to develop and guide USV control systems. In this paper we describe the novel development of a COLREG-compliant DRL-based collision avoidant navigational system with CV-based awareness in a realistic ocean simulation environment. The performance of the trained autonomous Agents resulting from this approach is evaluated in several successful navigations to set waypoints in both open sea and coastal encounters with other vessels. A binary executable version of the simulator with trained agents is available at https://github.com/aavek/Aeolus-Ocean

研究の動機と目的

• 複雑な海事シナリオにおける自律USVの訓練を可能にする、現実的で高精細度のシミュレーション環境の開発。
• 海事オブジェクト検出によるリアルタイムの状況認識を統合した深層強化学習（DRL）を用いたCOLREG準拠の航行の実現。
• 訓練済みDRLエージェントの性能を、開けた海や他の船舶との接近状況を含む多様な航行タスクにおいて検証すること。
• 再現可能性およびさらなる研究を促進するため、シミュレータおよび訓練済みエージェントの公開バイナリバージョンの提供。
• 現実の運用に近い天候、照明、動的船舶相互作用をモデル化することで、シミュレーションと実世界の運用のギャップを埋めること。

提案手法

• シミュレーション環境「Aeolus Ocean」は、風、波、昼間／夜間サイクルを含む現実的な海洋環境を再現する。
• DRLエージェントは、COLREG準拠を優先する報酬関数を用いて、障害物を避けながら目標ウェイポイントへ航行するように訓練される。
• コンピュータビジョンパイプラインを介して海事オブジェクト検出が統合され、他の船舶の検出と追跡が可能となり、リアルタイムの状況認識が実現される。
• DRLエージェントは、シミュレートされたカメラからの視覚的観測を処理して航行意思決定を行うことで、COLREG規則への準拠を保証する。
• 環境は、風景に沿った動的でプレイヤー制御外の船舶が現実的な交通パターンに従う、開けた海および沿岸航行シナリオをサポートする。
• 訓練済みエージェントを搭載したシミュレータのバイナリ実行可能ファイルがリリースされ、即時のデプロイとベンチマークが可能となる。

実験結果

リサーチクエスチョン

• RQ1 DRLベースの航行システムは、複雑で動的な海事環境においてCOLREG準拠の行動を達成できるか？
• RQ2 海事オブジェクト検出の統合は、自律USVのリアルタイム状況認識能力をどの程度向上させるか？
• RQ3 DRLエージェントは、開けた海の航行や他の船舶との接近状況を含む多様なシナリオに一般化できるか？
• RQ4 シミュレータの現実性は、訓練済みエージェントの一般化能力および耐性にどの程度影響を与えるか？
• RQ5 訓練済みエージェントは、現実的な天候および照明条件下で、安全かつ効率的なウェイポイント航行をどの程度達成できるか？

主な発見

• DRLエージェントは、開けた海および沿岸シナリオの両方において、COLREG規則に違反することなくウェイポイントに到達した。
• 海事オブジェクト検出の統合により、エージェントの周囲の船舶をリアルタイムで検出・対応する能力が著しく向上した。
• エージェントは、昼間および夜間の運用を含む多様な天候条件下でも、頑健な性能を示した。
• シミュレータ環境により、安定的かつ再現可能な訓練が可能となり、訓練済みエージェントは未観測のシナリオに対しても良好に一般化した。
• 訓練済みエージェントを搭載したバイナリ実行可能ファイルのリリースにより、実世界のテストおよびさらなる研究のための即時の利用とベンチマークが可能となった。