[논문 리뷰] Using Soft Actor-Critic for Low-Level UAV Control

Gabriel Moraes Barros, Esther Luna Colombini|arXiv (Cornell University)|2020. 10. 05.

Reinforcement Learning in Robotics참고 문헌 21인용 수 4

한 줄 요약

이 논문은 시뮬레이션된 다누이터의 목표지점 향해 이동하는 작업에서 소프트 액터-크리틱(SAC) 알고리즘을 저수준 제어에 사용할 것을 제안한다. SAC는 드론의 동역학에 대한 사전 지식 없이도 샘플 효율적이고 강건한 정책 학습을 가능하게 하며, 극단적인 초기 조건에서도 100% 성공률을 기록하고, PPO와 유사한 방법, 그리고 애니메이션 학습(GAIL)보다 강건성 면에서 뛰어나다.

ABSTRACT

Unmanned Aerial Vehicles (UAVs), or drones, have recently been used in several civil application domains from organ delivery to remote locations to wireless network coverage. These platforms, however, are naturally unstable systems for which many different control approaches have been proposed. Generally based on classic and modern control, these algorithms require knowledge of the robot's dynamics. However, recently, model-free reinforcement learning has been successfully used for controlling drones without any prior knowledge of the robot model. In this work, we present a framework to train the Soft Actor-Critic (SAC) algorithm to low-level control of a quadrotor in a go-to-target task. All experiments were conducted under simulation. With the experiments, we show that SAC can not only learn a robust policy, but it can also cope with unseen scenarios. Videos from the simulations are available in https://www.youtube.com/watch?v=9z8vGs0Ri5g and the code in https://github.com/larocs/SAC_uav.

연구 동기 및 목표

• 소프트 액터-크리틱(SAC)을 사용하여 시스템 동역학에 대한 사전 지식 없이도 저수준 다누이터 제어를 위한 모델-프리 강화학습 프레임워크를 개발하는 것.
• 드론의 동역학에 대한 사전 지식 없이도 예측할 수 없는 상황에서 UAV에 대한 강건한 정책을 학습할 수 있는 SAC의 능력을 평가하는 것.
• PPO와 애니메이션 학습(GAIL)과 같은 온-폴리시 방법을 사용한 이전 연구들과 비교하여 SAC의 성능과 샘플 효율성을 평가하는 것.
• 시뮬레이션에서 극단적인 초기 자세 조건 하에서 학습된 정책의 강건성을 평가하는 것.
• SAC이 다양한 목표 속도를 갖는 동적 목표 추적 작업에서 UAV를 효과적으로 제어할 수 있는지 보여주는 것.

제안 방법

• 저자들은 CoppeliaSim(이전에 V-REP로 알려져 있음)을 사용하여 다누이터의 역학을 고정밀도로 시뮬레이션하는 커스터마이징된 강화학습 프레임워크에 SAC를 구현한다.
• 상태 공간은 위치, 속도, 자세를 포함하며, 행동 공간은 추진력과 토크를 생성하기 위해 로터 속도를 제어한다.
• 목표에 도달하도록 유도하면서 편차와 에너지 소비를 최소화하도록 하는 조밀한, 희박한, 형태가 조정된 보상 함수를 설계한다.
• SAC 알고리즘은 온-폴리시이며 최대 엔트로피 강화학습 접근법을 사용하며, 확률적 정책을 통해 탐색과 강건성을 향상시킨다.
• 정책은 100만 단위 시간 단위 동안 훈련되어 이전 연구에서 요구하는 수십억 또는 수백만 단위 시간 단위보다 샘플 복잡도를 크게 감소시킨다.
• 강건성은 고각도 롤 및 피치 각도를 포함한 극단적인 초기 자세 분포를 가진 216편의 에피소드를 통해 평가된다.

실험 결과

연구 질문

• RQ1 SAC는 시스템 동역학에 대한 사전 지식 없이도 목표지점 향해 이동하는 작업에서 다누이터에 대한 강건한 저수준 제어 정책을 학습할 수 있는가?
• RQ2 SAC의 샘플 효율성은 UAV 제어에서 PPO와 DDPG와 같은 이전의 모델-프리 딥 강화학습 방법과 비교해 어떻게 되는가?
• RQ3 SAC로 학습된 정책는 예측할 수 없는 초기 조건과 동적 목표 경로에 얼마나 잘 일반화되는가?
• RQ4 SAC의 최대 엔트로피 탐색 전략은 PPO와 애니메이션 학습(GAIL)과 같은 온-폴리시 방법보다 강건성 면에서 어떻게 향상되는가?
• RQ5 SAC는 다양한 목표 속도를 갖는 동적 목표 추적 작업에서 UAV를 효과적으로 제어할 수 있는가?

주요 결과

• SAC는 216개의 극단적인 초기 조건 테스트에서 100% 성공률를 기록했으며, 중앙값 보상은 886.13, 평균 보상은 886.81이었다.
• 정책은 다양한 속도로 움직이는 목표를 추적하는 데 성공했으며, 정현파 및 정사각형 경로를 포함한 동적 경로에서도 최소한의 정적 오차를 유지했다.
• 동일한 극단적인 초기 조건 하에서 SAC는 PPO(93.98% 성공률)와 GAIL(54.1% 성공률)보다 뛰어난 강건성을 보였다.
• 이 방법은 수렴에 약 100만 단위 시간 단위만 필요로 하여 이전 연구에서 요구하는 수십억 또는 800만 단위 시간 단위보다 샘플 복잡도를 크게 감소시켰다.
• 빠르게 움직이는 목표 상황에서는 최단 경로 기반 전략으로 인해 감쇠된 반응을 보였지만, 추락 없이 안정적인 비행을 유지했다.
• 결과는 SAC의 최대 엔트로피 탐색 전략이 불안정하고 고차원적인 제어 과제에서 더 효과적이고 강건한 정책 학습을 가능하게 한다는 것을 확인시켰다.