[논문 리뷰] Autonomous Blimp Control using Deep Reinforcement Learning

Yu Tang Liu, Eric Price외 3명|arXiv (Cornell University)|2021. 09. 22.

Aerospace Engineering and Energy Systems참고 문헌 41인용 수 8

한 줄 요약

이 논문은 비선형성, 시간 지연, 부력 변화 등의 과제를 해결하기 위해 시뮬레이션에서 자율 비행조종을 가능하게 하는 QR-DQN을 사용한 딥 강화학습(DRL) 방법을 제안한다. 이 방법은 압축된 상태 표현, 부드러운 제어를 위한 이산 동작, 그리고 강인성을 높이기 위한 노이즈 증강을 활용하여 바람과 파rameter 불확실성 하에서도 안정적인 궤적 추적을 달성한다.

ABSTRACT

Aerial robot solutions are becoming ubiquitous for an increasing number of tasks. Among the various types of aerial robots, blimps are very well suited to perform long-duration tasks while being energy efficient, relatively silent and safe. To address the blimp navigation and control task, in our recent work, we have developed a software-in-the-loop simulation and a PID-based controller for large blimps in the presence of wind disturbance. However, blimps have a deformable structure and their dynamics are inherently non-linear and time-delayed, often resulting in large trajectory tracking errors. Moreover, the buoyancy of a blimp is constantly changing due to changes in the ambient temperature and pressure. In the present paper, we explore a deep reinforcement learning (DRL) approach to address these issues. We train only in simulation, while keeping conditions as close as possible to the real-world scenario. We derive a compact state representation to reduce the training time and a discrete action space to enforce control smoothness. Our initial results in simulation show a significant potential of DRL in solving the blimp control task and robustness against moderate wind and parameter uncertainty. Extensive experiments are presented to study the robustness of our approach. We also openly provide the source code of our approach.

연구 동기 및 목표

• 전통적인 PID 및 비선형 제어의 한계를 해결하여 비행기의 비선형성, 시간 지연, 동적 부력 변화를 효과적으로 다룰 수 있도록 한다.
• 딥 강화학습을 활용해 장시간 비행에 적합한 샘플 효율적이고 강인한 제어 정책을 시뮬레이션에서 개발한다.
• 이산 동작 공간을 설계하고 보상 함수에 동작 페널티를 통합하여 제어의 부드러움과 안정성을 향상시킨다.
• 훈련 중 데이터 증강을 통해 바람과 파라미터 변동성과 같은 환경적 불확실성에 대한 강인성을 향상시킨다.
• 현실 세계에 적용 가능한 성능을 확보하기 위해 실제 역학과 센서 노이즈 모델링을 포함한 시뮬레이션 환경에서 전부 훈련한다.

제안 방법

• 고정밀도로 비행기 역학을 모델링하기 위해 ROS와 Gazebo를 사용한 소프트웨어 인 더 루프(SITL) 시뮬레이션 환경을 활용한다.
• 차원을 축소하고 훈련 속도를 향상시키면서도 필수 제어 정보를 유지하는 압축된 상태 표현을 설계한다.
• 부드러운 액추에이터 명령을 강제로 적용하고 급격한 제어 입력을 방지하기 위해 이산 동작 공간을 사용한다.
• 더 나은 가치 함수 근사화를 통해 안정적이고 효율적인 딥 강화학습을 위한 QR-DQN(양자 회귀 DQN)을 구현한다.
• 실제 환경의 센서 및 액추에이터 불확실성을 시뮬레이션하기 위해 훈련 중 관측 및 동작 노이즈를 주입한다.
• 도착 지점 도달, 고도 손실 최소화, 모터 사용 감소를 우선시하는 희박하고 형태가 조정된 보상 함수를 정의한다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 대규모 비행기의 비선형성, 시간 지연, 파rameter 변화를 가진 시뮬레이션 환경에서 효과적으로 다룰 수 있는가?
• RQ2 기존 제어기와 비교해 볼 때 제안된 DRL 에이전트는 중간 정도의 바람 간섭과 부력 변화 상황에서 어떻게 성능을 내는가?
• RQ3 훈련 중 노이즈 주입이 실제 환경의 불확실성에 대한 DRL 정책의 강인성을 어느 정도 향상시키는가?
• RQ4 보상 함수에 페널티 기반의 형태 조정을 통한 이산 동작 공간은 고차원 연속 제어 문제에서 부드럽고 안정적인 제어를 달성할 수 있는가?
• RQ5 현재 DRL 정책의 고도 제어 및 질량 불균형 또는 바람 반전에 대한 민감도 측면에서의 한계는 무엇인가?

주요 결과

• DRL 에이전트는 중간 정도의 바람 간섭 하에서도 시뮬레이션에서 웨이포인트 항법 작업을 성공적으로 완수하며 뛰어난 강인성을 보였다.
• 부력이 감소할수록 성능이 떨어지며, 원래 부력의 95% 이하에서는 제어가 완전히 실패한다. 이 경우 작업 완료 시간이 크게 증가한다.
• 질량 불균형이 최대 100g 이하일 땐 정책이 강인하지만, 더 큰 불균형은 성능 저하를 초래하여 질량 분포에 민감함을 보인다.
• 특히 정지 모드로 전환할 때 고도 손실이 매우 높게 나타나, 보상 함수의 형태 조정 개선이 필요함을 시사한다.
• 훈련 중 노이즈 주입을 통합함으로써 관측 및 동작 페널티에 대한 강인성이 향상되어 실제 환경 조건으로의 일반화 성능이 향상되었다.
• 현재 접근법은 웨이포인트 근처에서 보수적인 행동을 보이며, 후진 추진력이나 추진력 방향 조절 기능의 부재로 인해 복잡한 조작에서 성능 향상에 한계가 있다.