[논문 리뷰] Depth Control of Model-Free AUVs via Reinforcement Learning

Hui Wu, Shiji Song외 2명|arXiv (Cornell University)|2017. 11. 22.

Reinforcement Learning in Robotics참고 문헌 22인용 수 12

한 줄 요약

이 논문은 정확한 동역학 모델이 필요로 하지 않는 자율 수중 항공기(AUV)의 깊이 제어를 위한 모델-프리 강화학습 프레임워크를 제안한다. 이는 우선순위 기반 경험 재생을 사용하는 딥 디터미니스틱 정책 기울기(DDPG)를 기반으로 하며, 샘플링된 궤적을 통해 신경망을 통해 상태 피드백 제어기를 학습한다. 이는 LQI 및 NMPC와 같은 모델 기반 제어기와 비교해도 성능이 유사한 결과를 얻으며, 부분 관측 가능성이 있는 실제 해저 추적 상황에서도 성능을 발휘한다.

ABSTRACT

In this paper, we consider depth control problems of an autonomous underwater vehicle (AUV) for tracking the desired depth trajectories. Due to the unknown dynamical model of the AUV, the problems cannot be solved by most of model-based controllers. To this purpose, we formulate the depth control problems of the AUV as continuous-state, continuous-action Markov decision processes (MDPs) under unknown transition probabilities. Based on deterministic policy gradient (DPG) and neural network approximation, we propose a model-free reinforcement learning (RL) algorithm that learns a state-feedback controller from sampled trajectories of the AUV. To improve the performance of the RL algorithm, we further propose a batch-learning scheme through replaying previous prioritized trajectories. We illustrate with simulations that our model-free method is even comparable to the model-based controllers as LQI and NMPC. Moreover, we validate the effectiveness of the proposed RL algorithm on a seafloor data set sampled from the South China Sea.

연구 동기 및 목표

• 정확한 동역학 모델을 확보하기 어려운 상황에서 AUV의 깊이 제어 과제를 해결한다.
• 일정 깊이 유지, 곡선 궤적 추적, 해저 추적의 세 가지 깊이 제어 문제를 연속 상태-연속 행동 마르코프 결정 과정(MDP)으로 수식화한다.
• 시스템 동역학에 의존하지 않고 AUV 궤적 데이터에서 직접 상태 피드백 제어기를 학습하는 모델-프리 강화학습 알고리즘을 개발한다.
• 과거 궤적의 우선순위 기반 경험 재생을 활용한 배치 학습 기반 설계를 통해 데이터 효율성과 학습 수렴성을 향상시킨다.
• 모의 AUV 동역학과 남중국해에서 확보한 실제 해저 데이터를 기반으로 한 검증을 통해 부분 관측 가능성이 있는 환경에서도 강인함을 입증한다.

제안 방법

• 추적 오차와 제어 노력의 영향을 반영하기 위해 맞춤형 상태 함수와 한 스텝 비용 함수를 사용하여 연속 상태-연속 행동 MDP로 깊이 제어 과제를 모델링한다.
• 정책 네트워크(행동 선택용)와 Q-값 네트워크(행동-가치 추정용)를 사용하는 두 개의 신경망을 활용한 딥 디터미니스틱 정책 기울기(DDPG) 기반 알고리즘을 구현한다.
• 타겟 네트워크를 사용한 시간 차분 학습을 통해 학습 안정성을 확보하고, 벨만 방정식을 이용해 Q-값 네트워크를 업데이트한다.
• TD 오차를 기반으로 과거 경험을 재사용하는 우선순위 기반 경험 재생 메커니즘을 적용하여 샘플 효율성과 수렴 속도를 향상시킨다.
• 곡선 또는 해저 추적 시 관측되지 않는 깊이 궤적의 추세를 보완하기 위해 최근 상대 깊이 측정값(윈도우 크기)을 포함한 상태 표현을 설계한다.
• 정책을 온-폴리시 롤아웃과 오프-폴리시 재생을 결합하여 엔드 투 엔드로 학습하며, 정책 및 Q-값 네트워크를 번갈아 가며 업데이트한다.

실험 결과

연구 질문

• RQ1 정확한 동역학 모델이 없는 상황에서 모델-프리 강화학습 접근법이 LQI 및 NMPC와 같은 모델 기반 제어기의 성능을 유사하게 달성할 수 있는가?
• RQ2 특히 최근 깊이 이력의 포함 여부가 부분 관측 가능성이 있는 깊이 추적 시나리오에서 강화학습 정책 성능에 미치는 영향은 어떠한가?
• RQ3 곡선 또는 해저 추적 작업에서 정책 성능 향상을 위해 과거 상대 깊이 측정값을 포함할 최적의 윈도우 크기는 무엇인가?
• RQ4 우선순위 기반 경험 재생이 AUV 깊이 제어에서 DDPG 기반 학습 알고리즘의 데이터 효율성과 수렴 성능을 어떻게 향상시키는가?
• RQ5 제안된 강화학습 프레임워크는 부분 관측 가능성이 있는 상황에서 남중국해에서 측정한 실제 복잡한 해저 프로파일을 효과적으로 추적할 수 있는가?

주요 결과

• 제안된 NNDPG 알고리즘은 진정한 AUV 동역학을 알지 못하는 상황에서도 시뮬레이션에서 LQI 및 NMPC와 유사한 추적 성능을 달성한다.
• 최근 상대 깊이 측정값 윈도우(윈도우 크기 = 3)를 사용하면 곡선 깊이 추적에서 흐름 정보를 암묵적으로 제공함으로써 현재 깊이만을 사용하는 경우보다 추적 오차를 감소시켜 성능 향상을 크게 개선한다.
• 10회 실험에 대한 장기 비용 상자 그림(boxplot) 분석 결과, 윈도우 크기 3이 평균과 분산이 가장 낮아 정보 수득과 오래된 데이터의 노이즈 간 최적의 균형을 이룬다.
• 우선순위 기반 경험 재생은 학습 수렴성과 데이터 효율성을 향상시켜 AUV에서의 제한된 온라인 데이터로도 효과적인 학습이 가능하게 한다.
• 알고리즘은 남중국해에서 확보한 실제 해저 프로파일을 성공적으로 추적하여, 빠르게 변화하는 복잡한 지형 환경에서도 유연성과 강인함을 입증한다. 입력은 상대 깊이 이력뿐이다.
• 연구는 상태 설계의 중요성을 확인한다: 일정 깊이 제어에 효과적인 상태는 곡선 궤적 추적에서는 부분 관측 가능성이 되며, 이에 따라 과거 깊이 데이터를 포함한 상태 증강이 필요하다.