[논문 리뷰] Continuous Control with Deep Reinforcement Learning for Autonomous Vessels

Nader Zare, Bruno Brandoli Machado외 3명|arXiv (Cornell University)|2021. 06. 27.

Maritime Navigation and Safety참고 문헌 27인용 수 6

한 줄 요약

이 논문은 자율선박 경로 계획에서 일반화 능력을 향상시키기 위해 새로운 상태-행동 회전(SAR) 전략을 적용한 연속선박내비게이터(CVN)를 제안한다. 딥 디터미니스틱 폴리시 그레디언트(DDPG) 기반으로 구현된 CVN은 경험 전이를 회전시켜 리PLAY 버퍼에 저장함으로써, 몬트리올과 같은 미사용 지도에서 기준선 대비 최대 30.82% 높은 성능을 기록하며 도착률(RATD)은 11.96% 향상시켰다.

ABSTRACT

Maritime autonomous transportation has played a crucial role in the globalization of the world economy. Deep Reinforcement Learning (DRL) has been applied to automatic path planning to simulate vessel collision avoidance situations in open seas. End-to-end approaches that learn complex mappings directly from the input have poor generalization to reach the targets in different environments. In this work, we present a new strategy called state-action rotation to improve agent's performance in unseen situations by rotating the obtained experience (state-action-state) and preserving them in the replay buffer. We designed our model based on Deep Deterministic Policy Gradient, local view maker, and planner. Our agent uses two deep Convolutional Neural Networks to estimate the policy and action-value functions. The proposed model was exhaustively trained and tested in maritime scenarios with real maps from cities such as Montreal and Halifax. Experimental results show that the state-action rotation on top of the CVN consistently improves the rate of arrival to a destination (RATD) by up 11.96% with respect to the Vessel Navigator with Planner and Local View (VNPLV), as well as it achieves superior performance in unseen mappings by up 30.82%. Our proposed approach exhibits advantages in terms of robustness when tested in a new environment, supporting the idea that generalization can be achieved by using state-action rotation.

연구 동기 및 목표

• 다양한 해양 환경에서 자율선박 내비게이션을 위한 딥 강화학습(DRL) 에이전트의 낮은 일반화 능력 문제를 해결한다.
• 경험 리플레이에 상태-행동 전이의 회전 증강 기법을 도입하여, 새로운 지도에서의 성능 향상을 도모한다.
• 실시간이고 종단간 경로 계획 및 장애물 회피를 위한 원시 이미지 입력 기반 연속 제어 정책을 개발한다.
• 해밀턴 및 몬트리올의 실제 지도를 기반으로 한 시뮬레이션 환경에서 에이전트의 강건성과 이식 가능성 평가를 수행한다. 동적으로 변화하는 출발점과 도착점을 설정하여 시험한다.
• 수정된 플로이드 경로 계획법과 랜드 어텐션 레이어 기반 RDP(LARDP)를 조합함으로써 제약 조건이 있는 수로 환경에서 학습 효율성과 최종 성능 향상을 입증한다.

제안 방법

• 원시 이미지 입력을 사용하는 두 개의 컨볼루션 신경망(CNN)을 포함한 딥 디터미니스틱 폴리시 그레디언트(DDPG)를 적용한다. 하나는 액터(정책 네트워크), 다른 하나는 크리틱(행동-가치 네트워크)으로 구성된다.
• 상태-행동 회전(SAR) 전략을 도입한다: 리플레이 버퍼에서 추출한 상태-행동-상태 전이를 회전시켜 새로운 다양성 있는 학습 경험을 생성함으로써 데이터 효율성과 일반화 능력을 향상시킨다.
• 지역 시각 생성기(local view maker)를 활용해 전체 지ap에서 환경적 맥락을 추출함으로써 상태 공간의 복잡도를 감소시키고 계획 효율성을 향상시킨다.
• 수정된 플로이드 알고리즘과 랜드 어텐션 레이어 기반 RDP(LARDP)를 융합한 플래너 모듈을 통합하여 학습을 위한 고품질 초도 경로를 생성한다.
• 실제 해밀턴 및 몬트리올 지도를 기반으로 한 시뮬레이션 항만 환경에서 동적으로 변화하는 출발점과 도착점을 설정하여 에이전트를 훈련시킨다.
• 훈련 안정성 향상과 새로운 지도에 대한 일반화 능력 향상을 위해, SAR 증강 전이를 적용한 경험 리플레이를 적용한다.

실험 결과

연구 질문

• RQ1 리플레이 버퍼 내 상태-행동 회전이 자율선박 내비게이션에서 미사용 해양 환경에서 DRL 에이전트의 일반화 능력을 뚜렷이 향상시키는가?
• RQ2 제안된 CVN 모델의 SAR 전략은 해밀턴 및 몬트리올 지도에서 기준선 DRL 모델(VNPLV + DQN) 대비 도착률(RATD) 측면에서 어떤 성능을 보이는가?
• RQ3 수정된 플로이드 알고리즘과 LARDP 계획법의 조합이 제약 조건이 많은 복잡한 수로 환경에서 DRL 에이전트의 성능 향상과 학습 효율성 향상에 어느 정도 기여하는가?
• RQ4 종단간 CNN 기반 정책 학습에 원시 이미지 입력을 사용할 경우, 수작업 특징 또는 이산 행동 공간에 의존하는 전통적 방법보다 성능이 뛰어나다고 할 수 있는가?
• RQ5 SAR 증강을 적용했을 때, 더 크고 복잡한 지도(몬트리올)에서의 성능이 훈련 지도(해밀턴) 대비 얼마나 강건한가? 특히 분포 이탈에 대한 저항성 측면에서 평가한다.

주요 결과

• SAR 전략을 적용한 CVN 모델은 해밀턴 지도에서 VNPLV 기준선 대비 도착률(RATD)을 최대 11.96% 향상시켰다.
• 미사용 지도인 몬트리올 지도에서 CVN은 기준선 대비 일반화 성능을 30.82% 향상시켰으며, 평균 RATD는 2.02%에서 18.12%로 상승했다.
• SAR 전략은 일반화 능력을 뚜렷이 향상시켰으며, 해밀턴에서 훈련된 C2 에이전트가 몬트리올에서 거의 동일한 성능를 기록함으로써 분포 이탈에 대한 강건성이 뛰어나다는 것을 보여주었다.
• 수정된 플로이드와 LARDP 계획법의 통합은 각각 RATD를 4.42%와 4.58% 향상시켰으며, 복잡한 환경에서의 고도화된 계획 전략의 효과를 입증했다.
• 출발점과 도착점 간 거리가 클수록 밀도도를 통해 수로 및 제약 영역의 탐색이 더 활발히 이루어지는 것으로 나타났으며, 이는 도전적인 영역에서의 학습 능력 향상을 시사한다.
• SAR 증강을 적용한 CVN은 훈련 지도뿐 아니라 미사용 지도에서도 다른 모든 구성보다 뛰어난 성능를 보였으며, 상태-행동 회전을 통한 데이터 증강의 가치를 확인했다.