[논문 리뷰] Deep Reinforcement Learning Controller for 3D Path-following and Collision Avoidance by Autonomous Underwater Vehicles

Simen Theie Havenstrøm, Adil Rasheed외 1명|arXiv (Cornell University)|2020. 06. 17.

Robotic Path Planning Algorithms참고 문헌 25인용 수 9

한 줄 요약

이 논문은 3차원 경로 추종 및 충돌 회피를 위한 딥 강화학습(DRL) 컨트롤러를 제안하며, 센서 입력과 경로 정확도 및 장애물 회피를 균형 잡는 보상 함수를 사용한다. 이 방법은 인간 수준의 의사결정을 달성했으며, 극한의 장애물 상황에서 99.25%의 충돌 회피율을 기록했고, 해류 영향을 받는 환경에서도 미터 이내의 추적 정확도를 확보했다.

ABSTRACT

Control theory provides engineers with a multitude of tools to design controllers that manipulate the closed-loop behavior and stability of dynamical systems. These methods rely heavily on insights about the mathematical model governing the physical system. However, in complex systems, such as autonomous underwater vehicles performing the dual objective of path-following and collision avoidance, decision making becomes non-trivial. We propose a solution using state-of-the-art Deep Reinforcement Learning (DRL) techniques, to develop autonomous agents capable of achieving this hybrid objective without having à priori knowledge about the goal or the environment. Our results demonstrate the viability of DRL in path-following and avoiding collisions toward achieving human-level decision making in autonomous vehicle systems within extreme obstacle configurations.

연구 동기 및 목표

• 기존 제어 방법이 서로 충돌하는 목표를 동시에 달성하기 어려운 불완전한 AUV에서 3차원 경로 추종과 충돌 회피를 통합하는 과제를 해결한다.
• 환경이나 목표에 대한 사전 지식 없이도 경로 정확도와 장애물 회피를 균형 잡는 DRL 기반 컨트롤러를 개발한다.
• 상태 피드백과 소나 입력만을 사용하여 복잡하고 동적인 수중 환경에서 자율적 의사결정을 가능하게 한다.
• 사전 설정된 장애물 구성, 특히 사망 구간이나 다중 장애물 스택과 같은 극한 케이스를 포함한 다양한 장애물 구성에서의 성능을 평가한다.
• 실제 수압 환경에서 AUV 항법에 인간 수준의 성능을 달성하기 위한 DRL의 가능성을 입증한다.

제안 방법

• 최첨단 연속 제어 알고리즘인 Proximal Policy Optimization(PPO)를 사용해 AUV의 액추에이터 제어 정책을 학습하는 DRL 에이전트를 훈련시켰다.
• 에이전트는 AUV의 상태(위치, 속도, 자세), 제어 오차, 해류 외란, 그리고 전방향 소나 데이터를 관측한다.
• 경로 이탈, 충돌, 과도한 제어 노력, 기울기(롤)에 대해 제곱형 벌점이 적용된 보상 함수를 사용하였으며, 경로 추종과 충돌 회피의 균형을 조절하기 위해 조정 가능한 초모수 λr를 도입하였다.
• 고정된 항해 속도를 유지하기 위해 별도의 PI 제어기를 사용하였고, DRL 에이전트는 조향장치와 엣지 레일을 제어하여 궤적 추종 및 장애물 회피를 수행하였다.
• 진행적 학습(curriculum learning) 전략을 적용하여, 간단한 경로에서 시작해 점점 더 복잡한 장애물 구성으로 점진적으로 훈련을 수행하였다.
• 각 난이도 수준에서 100개의 에피소드에 걸쳐 통계적 샘플링을 수행하여 성공률, 충돌률, 평균 추적 오차를 측정해 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 DRL 에이전트는 환경에 대한 사전 지식 없이도 자율 수중 차량에서 3차원 경로 추종과 충돌 회피를 효과적으로 균형 잡을 수 있는가?
• RQ2 보상 함수의 트레이드오프 초모수 λr는 에이전트의 행동이 경로 정확도와 충돌 회피 사이에서 어떻게 영향을 미치는가?
• RQ3 사망 구간이나 다중 장애물 스택과 같은 극한의 장애물 구성에 대해 DRL 에이전트는 어느 정도 일반화 능력을 보이는가?
• RQ4 지속적인 해류 외란 상황에서도 DRL 컨트롤러는 높은 경로 추종 정확도를 유지하는가?
• RQ5 DRL 에이전트는 복잡하고 동적인 수중 환경에서 인간 수준의 의사결정을 달성할 수 있는가?

주요 결과

• 해류 외란이 존재하는 상황에서도 DRL 에이전트는 평균 추적 오차가 1미터 이내로 유지되어 높은 경로 추종 정확도를 입증했다.
• λr = 0.5로 조정된 컨트롤러는 복잡한 장애물 환경에서 효과적인 충돌 회피를 보였으며, 최적 경로에서의 편차가 최소한이었다.
• 전문가 수준의 에이전트(λr = 0.1)는 400개의 테스트 샘플 전역에서 99.25%의 충돌 회피율을 기록했고, 충돌은 유일하게 최고 난이도 수준에서 발생하였다.
• 20m 반구형 장애물로 구성된 사망 구간 테스트에서는 모든 에이전트가 수용 반경 내에서 목표에 성공적으로 도달하여 강력한 장애물 주행 능력을 입증했다.
• 에이전트는 횡방향 제어 날개를 극도로 절약하고 효과적으로 사용하여, 보상 함수의 의도에 맞게 불필요한 작동을 방지하고 롤을 최소화하였다.
• 결과적으로 DRL과 PPO를 활용한 방법이 복잡한 3차원 환경에서 경쟁 목표를 균형 잡고 인간 수준의 의사결정을 달성할 수 있음을 확인했다.