[논문 리뷰] Decentralized Control of Quadrotor Swarms with End-to-end Deep Reinforcement Learning

Sumeet Batra, Zhehui Huang외 4명|arXiv (Cornell University)|2021. 09. 16.

Reinforcement Learning in Robotics참고 문헌 25인용 수 9

한 줄 요약

이 논문은 시뮬레이션에서 학습된 물리적 특성이 풍부한 시뮬레이터를 기반으로, 실물 하드웨어로의 제로샷 전이를 달성하는 분산형, 엔드 투 엔드 딥 강화학습(DRL) 기반의 멀티드론 비행 제어 기법을 제시한다. 128架의 드론을 포함한 드론 기수에서 충돌 방지, 고속 비행, 편대 제어, 추격-도피 행동을 실현하며, 자원이 제한된 Crazyflie 2.0 드론에 10^3개의 파라미터만으로 성공적으로 구현하였다.

ABSTRACT

We demonstrate the possibility of learning drone swarm controllers that are zero-shot transferable to real quadrotors via large-scale multi-agent end-to-end reinforcement learning. We train policies parameterized by neural networks that are capable of controlling individual drones in a swarm in a fully decentralized manner. Our policies, trained in simulated environments with realistic quadrotor physics, demonstrate advanced flocking behaviors, perform aggressive maneuvers in tight formations while avoiding collisions with each other, break and re-establish formations to avoid collisions with moving obstacles, and efficiently coordinate in pursuit-evasion tasks. We analyze, in simulation, how different model architectures and parameters of the training regime influence the final performance of neural swarms. We demonstrate the successful deployment of the model learned in simulation to highly resource-constrained physical quadrotors performing station keeping and goal swapping behaviors. Code and video demonstrations are available on the project website at https://sites.google.com/view/swarm-rl.

연구 동기 및 목표

• 로컬 관측값만을 사용하는 분산형, 엔드 투 엔드 딥 강화학습 제어기를 개발하는 것.
• 고정밀 시뮬레이션에서 학습된 정책을 실물의 자원이 제한된 물리적 드론으로 제로샷 전이할 수 있도록 하는 것.
• 역학적 계획 또는 중앙집중식 조율 없이도 공격적인 편대 비행, 동적 장애물 회피, 추격-도피 행동과 같은 고성능의 기수 행동을 달성하는 것.
• 다양한 기수 크기(최대 128대)와 물리적 구성 요소에 걸쳐 확장성과 강건성을 입증하는 것.
• 모델에 종속되지 않은 정책이 재학습이나 PID 튜닝 없이 다양한 펌웨어 기반 드론 플랫폼을 제어할 수 있도록 하는 것.

제안 방법

• 실제 드론 역학과 물리 법칙을 반영한 현실적인 시뮬레이션 환경에서 다중 에이전트 딥 강화학습을 사용해 정책을 학습한다.
• 각 드론은 자율적 및 이웃 드론의 정보를 처리하기 위해 프로피어세프틱 및 외부 관측값(예: 상대 위치, 속도 등)을 잠재 표현으로 변환하는 자기 및 이웃 인코더를 사용한다.
• 이러한 표현을 직접 추진력 명령으로 매핑하는 정책 네트워크를 통해 수동 제어기 없이 엔드 투 엔드 제어를 구현한다.
• 순열 및 척도에 강인한 모델 아키텍처를 통해 다양한 기수 크기와 구성에 일반화할 수 있도록 보장한다.
• 충돌 방지, 목표 도달, 편대 유지 등에 중점을 둔 보상 함수를 사용한다.
• 500 Hz에서 온보드 마이크로컨트롤러 계산을 통해 10^3개 정도의 파라미터만을 사용해 실물의 Crazyflie 2.0 드론에 정책을 구현한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 강화학습이 시뮬레이션에서 학습된 분산형, 확장 가능한, 충돌이 없는 기수 제어 정책을 실물 하드웨어로 제로샷 전이할 수 있는가?
• RQ2 다양한 신경망 아키텍처와 학습 초기화 조건이 학습된 기수 제어 정책의 성능과 강건성에 어떤 영향을 미치는가?
• RQ3 학습된 정책이 고차원적 실시간 환경에서 공격적인 비행, 동적 장애물 회피, 추격-도피 행동을 얼마나 잘 처리할 수 있는가?
• RQ4 동일한 정책 아키텍처가 재학습 없이 다양한 기수 크기와 물리적 드론 파rameter에 대해 일반화 가능한가?
• RQ5 경로 효율성, 민첩성, 3차원 공간 활용도 측면에서 학습된 DRL 제어기의 성능이 전통적 계획 방법보다 어떻게 비교되는가?

주요 결과

• DRL로 학습된 정책는 실물의 Crazyflie 2.0 드론에서 ~10^3개의 파라미터만으로도 모든 작업—정지 유지, 목표 교환, 추격-도피—을 성공적으로 수행하였다.
• 최대 7 m/s의 속도와 1.7 g의 가속도를 기록한 공격적인 비행을 달성하였으며, 전통적 방법보다 뚜렷이 뛰어난 성능을 보였다.
• DRL 제어기가 생성한 비행 경로는 모든 3차원 공간을 활용한 반면, 전통적 방법은 주로 2차원 평면에 국한되어 있었다.
• DRL 제어기는 전통적 방법보다 목표에 더 빨리 도달하였으며, 보수적인 충돌 제약 조건으로 인해 더 길고 비효율적인 경로를 생성하였다.
• 기체 간 상호작용, 하강 기류, 비파괴적 충돌 등의 공기역학적 외란에 대해 강건성을 보였으며, 공중 충돌 후 복구 및 재안정화를 성공적으로 수행하였다.
• 추가 학습을 거친 후, 동일한 정책 아키텍처는 128대의 드론 기수를 제어하였으며, 에이전트당 계산 부담에 큰 증가 없이도 성공적으로 작동하였다.