[논문 리뷰] Data-Efficient Deep Reinforcement Learning for Attitude Control of Fixed-Wing UAVs: Field Experiments

Eivind Bøhn, Erlend M. Coates외 2명|arXiv (Cornell University)|2021. 11. 07.

Adaptive Control of Nonlinear Systems인용 수 4

한 줄 요약

이 논문은 고정익 UAV의 자세 제어를 위한 데이터 효율적인 딥 강화학습(DRL) 기법을 제안한다. 실질적인 비행 데이터를 약 3분 간만 사용하여 시뮬레이션에서 제어기를 학습하고, 온라인 미세조정 없이 그대로 실제 비행에 적용한다. 본 방법은 작동 지연, 동적 다양성, 부드러움 정규화 등의 시뮬레이션에서 실제로의 전이 기법을 활용하여, 최신 기술인 ArduPlane PID 제어기와 유사한 성능을 달성하며, 안정적이고 진동이 적은 제어 응답을 제공한다.

ABSTRACT

Attitude control of fixed-wing unmanned aerial vehicles (UAVs) is a difficult control problem in part due to uncertain nonlinear dynamics, actuator constraints, and coupled longitudinal and lateral motions. Current state-of-the-art autopilots are based on linear control and are thus limited in their effectiveness and performance. Deep reinforcement learning (DRL) is a machine learning method to automatically discover optimal control laws through interaction with the controlled system, which can handle complex nonlinear dynamics. We show in this paper that DRL can successfully learn to perform attitude control of a fixed-wing UAV operating directly on the original nonlinear dynamics, requiring as little as three minutes of flight data. We initially train our model in a simulation environment and then deploy the learned controller on the UAV in flight tests, demonstrating comparable performance to the state-of-the-art ArduPlane proportional-integral-derivative (PID) attitude controller with no further online learning required. Learning with significant actuation delay and diversified simulated dynamics were found to be crucial for successful transfer to control of the real UAV. In addition to a qualitative comparison with the ArduPlane autopilot, we present a quantitative assessment based on linear analysis to better understand the learning controller's behavior.

연구 동기 및 목표

• 실제 비행 데이터를 광범위하게 요구하지 않는 데이터 효율적인 딥 강화학습 제어기를 고정익 UAV 자세 제어에 개발하기 위해.
• 시뮬레이션에서 실제로의 격차를 해소하기 위해, 시뮬레이션된 작동 지연과 동적 변동성을 통해 학습된 정책의 강건성을 높이기 위해.
• 실제 UAV 하드웨어에 온라인 미세조정이나 재학습 없이 직접 배포 가능한 DRL 제어기를 가능하게 하기 위해.
• 비선형, 결합된, 그리고 부족하게 구동되는 동역학을 다룰 수 있는 최신 선형 PID 제어기와 유사한 성능을 달성하기 위해.

제안 방법

• 제어기는 고정익 UAV인 Skywalker X8의 비선형 동역학을 모델링하는 고정밀 시뮬레이션 환경에서 Soft Actor-Critic(SAC) 알고리즘을 사용하여 학습한다.
• 상태 표현에는 과거 상태 시퀀스를 처리하는 컨볼루션 입력 레이어를 포함하여 시간적 인지 능력을 향상시키고 제어의 부드러움을 개선한다.
• 학습 환경은 실제 세계의 불확실성을 모의하기 위해 상당한 작동 지연과 다양한 항공역학적 파라미터를 도입하여 강건성을 향상시킨다.
• 희소 밀도 보상이 사용되며, 공격적인 제어 동작을 방지하고 제어 신호의 시간적 및 공간적 부드러움을 촉진하기 위한 추가 항목이 포함된다.
• 정책은 실시간 상호작용 없이 오직 시뮬레이션 데이터에서만 학습되며, 실제 UAV에 직접 배포된다.
• 도메인 랜덤라이제이션과 지연 주입 등의 시뮬레이션에서 실제로의 전이 기법을 포함하여 현실 격차를 줄이고 현장 적용 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 실제 비행 데이터를 거의 사용하지 않고 시뮬레이션에서만 학습된 DRL 제어기가 실제 고정익 UAV에서 안정적이고 높은 성능의 자세 제어를 달성할 수 있는가?
• RQ2 시뮬레이션에서 실제 비행으로의 정책 전이를 성공적으로 가능하게 하는 데 가장 효과적인 특정 시뮬레이션에서 실제로의 기법은 무엇인가?
• RQ3 입력 표현에 과거 상태와 컨볼루션 처리를 포함할 경우 제어 성능과 부드러움에 어떤 영향을 미치는가?
• RQ4 DRL이 비선형, 결합된 UAV 동역학에서 기존의 선형 PID 제어기와 비교해 얼마나 뛰어나거나 유사한 성능을 낼 수 있는가?
• RQ5 데이터 효율성이 시뮬레이션 모델에 대한 과적합을 줄이고 실제 세계 일반화 능력을 향상시키는 데 어떤 역할을 하는가?

주요 결과

• DRL 제어기는 실시간 비행 테스트에서 ArduPlane PID 제어기와 유사한 안정적이고 뛰어난 성능을 달성하였으며, 온라인 적응이나 미세조정이 필요로 하지 않았다.
• 단지 10,000개의 학습 시간 단위(약 3분 간의 실제 비행 데이터)로도 비행 가능성을 확보하여 매우 높은 데이터 효율성을 입증하였다.
• 컨볼루션 입력 레이어를 포함한 기본 모델은 약 40,000개의 시간 단위(약 13분 간의 실제 비행) 안에 수렴하였으며, 완전히 연결된 백업 모델 대비 비례 이득이 훨씬 낮고 부드러움 지표에서 50% 향상된 성능을 보였다.
• 단일 과거 상태(h=1)와 완전히 연결된 입력만을 사용한 모델는 UAV를 안정화시키지 못했으며, 이는 시간적 상태 기록의 중요성을 강조한다.
• 학습 중에 작동 지연과 동적 변동성을 통합하는 것이 시뮬레이션에서 실제로의 전이와 강건성 확보에 필수적이었다.
• DRL 제어기는 FC 백업 모델 대비 더 부드러운 제어 신호와 자세 응답을 생성하여, 시스템 동역학을 더 잘 다루고 진동을 줄였음을 시사한다.