[논문 리뷰] 2-Level Reinforcement Learning for Ships on Inland Waterways: Path Planning and Following

Martin Waltz, Niklas Paulig외 1명|arXiv (Cornell University)|2023. 07. 25.

Maritime Navigation and SafetyEngineering인용 수 3

한 줄 요약

이 논문은 내륙 수로에서 자율 항해하는 표류선(ASV)을 위한 이중 수준의 딥 강화학습(DRL) 프레임워크를 제안한다. 이는 고수준의 국소 경로 계획(LPP) 에이전트와 저수준의 경로 따라하기(PF) 에이전트를 조합하여 안전하고 동적이고 충돌 회피가 가능하며 정밀한 궤적 추적을 가능하게 한다. LPP 에이전트는 최신 기술인 인공 잠재력장 기반 방법보다 최소 선박 간 거리를 65% 향상시키며, PF 에이전트는 PID 제어 대비 평균 횡방향 오차를 39% 감소시키고 제어 노력도 줄였다. 이는 저 엘베 강에서의 실제 AIS 데이터를 활용하여 검증되었다.

ABSTRACT

This paper proposes a realistic modularized framework for controlling autonomous surface vehicles (ASVs) on inland waterways (IWs) based on deep reinforcement learning (DRL). The framework improves operational safety and comprises two levels: a high-level local path planning (LPP) unit and a low-level path following (PF) unit, each consisting of a DRL agent. The LPP agent is responsible for planning a path under consideration of dynamic vessels, closing a gap in the current research landscape. In addition, the LPP agent adequately considers traffic rules and the geometry of the waterway. We thereby introduce a novel application of a spatial-temporal recurrent neural network architecture to continuous action spaces. The LPP agent outperforms a state-of-the-art artificial potential field (APF) method by increasing the minimum distance to other vessels by 65% on average. The PF agent performs low-level actuator control while accounting for shallow water influences and the environmental forces winds, waves, and currents. Compared with a proportional-integral-derivative (PID) controller, the PF agent yields only 61% of the mean cross-track error (MCTE) while significantly reducing control effort (CE) in terms of the required absolute rudder angle. Lastly, both agents are jointly validated in simulation, employing the lower Elbe in northern Germany as an example case and using real automatic identification system (AIS) trajectories to model the behavior of other ships.

연구 동기 및 목표

• 내륙 수로(IWs)에서 자율 항해선(ASV)의 동적 충돌 회피에 대한 기술적 격차를 해소하기 위해, 기존 DRL 방법이 정적 장애물이나 개방된 해역에만 집중하는 데에 대비하여, 동적 장애물에 대한 대응 기술을 확보하고자 한다.
• 지역 경로 계획(LPP)과 저수준 경로 따라하기(PF)를 분리하여 모듈러하고 확장 가능한 이중 수준의 DRL 아키텍처를 개발함으로써 안정적이고 안전한 항해를 가능하게 하고자 한다.
• 교통 규칙, 수로 기하학적 구조, 환경적 힘(해류, 바람, 파도), 얕은 수심 영향 등을 제어 프레임워크에 통합하고자 한다.
• 저 엘베 강에서의 실제 자동 식별 시스템(AIS) 궤적 데이터를 활용하여, 실질적인 만남 상황을 시뮬레이션함으로써 시스템을 검증하고자 한다.
• 기존의 인공 잠재력장(APF) 및 PID 제어와 같은 전통적 방법에 비해 충돌 회피 능력과 추적 정확도에서 뛰어난 성능을 입증하고자 한다.

제안 방법

• 이 프레임워크는 이중 수준의 DRL 아키텍처를 활용한다: 고수준 LPP 에이전트는 연속 동작 공간 제어를 위한 공간-시간 순환 신경망을 사용하고, 저수준 PF 에이전트는 정밀한 액추에이터 수준 제어를 담당한다.
• LPP 에이전트는 실시간으로 경로를 계획하며, 동적 목표 선박, 수로 기하학적 구조, 교통 규칙를 고려한다. 충돌 및 기초 접촉을 방지하기 위해 고안된 맞춤형 보상 함수를 사용한다.
• PF 에이전트는 환경적 외란(해류, 바람, 파도 등)을 고려하여 조종장치 각도를 제어하는 DRL 에이전트를 활용한다.
• 두 에이전트는 저 엘베 강을 기반으로 한 시뮬레이션 환경에서 실질적인 AIS 데이터를 활용해 목표 선박 행동을 모델링함으로써 종합적으로 훈련된다.
• 공간-시간 아키텍처는 LPP 에이전트가 순차적인 공간 관측값(예: 선박 위치, 수심 등)을 처리하여 정보 기반의 항로 결정을 내릴 수 있도록 한다.
• 시스템은 실제 AIS 궤적 데이터를 사용하여 평가되며, 머리 마주침 및 추월 상황을 포함한 다양한 만남 상황에서 검증된다.

실험 결과

연구 질문

• RQ1 DRL 기반의 이중 수준 아키텍처는 복잡한 내륙 수로 환경에서 ASV의 동적 충돌 회피 능력을 어떻게 향상시킬 수 있는가?
• RQ2 제안된 LPP 에이전트는 기존의 인공 잠재력장(APF) 방법에 비해 동적 선박으로부터의 안전한 거리를 얼마나 높여주는가?
• RQ3 환경 외란 하에서 DRL 기반 PF 에이전트는 전통적 PID 제어에 비해 추적 정확도와 제어 노력 측면에서 어떻게 비교되는가?
• RQ4 실제 AIS 궤적 데이터를 기반으로 한 시뮬레이션 데이터로 훈련된 이중 수준 DRL 프레임워크는 실제 환경에 일반화될 수 있는가?
• RQ5 교통 규칙, 수로 기하학적 구조, 환경적 힘은 자율 항해 시스템의 성능과 안전성에 어떤 영향을 미치는가?

주요 결과

• LPP 에이전트는 최신 기술인 인공 잠재력장(APF) 방법 대비 평균적으로 다른 선박과의 최소 거리를 65% 향상시켜 충돌 회피 능력이 크게 향상됨을 입증했다.
• PF 에이전트는 PID 컨트롤러가 달성한 값의 61% 수준으로 평균 횡방향 오차(MCTE)를 낮춰, 뛰어난 경로 따라하기 정확도를 보였다.
• DRL 기반 PF 에이전트는 요구되는 절대 조종장치 각도를 크게 감소시켜 제어 노력이 감소함을 확인하여 연료 효율성 향상과 더 부드러운 제어를 의미한다.
• 이중 수준 시스템은 실제 AIS 데이터를 활용하여 머리 마주침 및 추월 상황과 같은 복잡한 실세계 만남 상황을 성공적으로 처리했으며, 뛰어난 내재성과 적응 능력을 보였다.
• 이 프레임워크는 해류, 바람, 파도 등의 환경적 힘과 얕은 수심 영향을 제어 정책에 효과적으로 통합하여 현실성과 안전성을 향상시켰다.
• 다양한 속도와 교통 밀도 조건에서도 높은 성능을 유지함으로써, 다양한 운영 조건에서의 일반화 능력이 확인되었다.