[논문 리뷰] Autonomous Drone Racing with Deep Reinforcement Learning

Yunlong Song, Mats Steinweg외 2명|Zurich Open Repository and Archive (University of Zurich)|2021. 03. 15.

Robotic Path Planning Algorithms참고 문헌 29인용 수 17

한 줄 요약

이 논문은 동적 트랙 변화에 실시간으로 적응할 수 있도록 상대적 게이트 관측값과 병렬화된 훈련 방식을 사용하여 자율 드론 레이싱에서 근접 시간 최적의 경로 계획을 위한 딥 강화학습(DRL) 기반 접근법을 제시한다. 이 방법은 물리적 큐브로터에서 최대 시속 60km로 비행을 구현하여 시뮬레이션 및 실제 환경 모두에서 뛰어난 내구성과 확장성을 입증한다.

ABSTRACT

In many robotic tasks, such as autonomous drone racing, the goal is to travel through a set of waypoints as fast as possible. A key challenge for this task is planning the time-optimal trajectory, which is typically solved by assuming perfect knowledge of the waypoints to pass in advance. The resulting solution is either highly specialized for a single-track layout, or suboptimal due to simplifying assumptions about the platform dynamics. In this work, a new approach to near-time-optimal trajectory generation for quadrotors is presented. Leveraging deep reinforcement learning and relative gate observations, our approach can compute near-time-optimal trajectories and adapt the trajectory to environment changes. Our method exhibits computational advantages over approaches based on trajectory optimization for non-trivial track configurations. The proposed approach is evaluated on a set of race tracks in simulation and the real world, achieving speeds of up to 60 km/h with a physical quadrotor.

연구 동기 및 목표

• 기존 최적화 기반 접근법에 비해 적응성과 계산 효율성에서 뛰어난 학습 기반의 시간 최적 경로 계획 방법을 개발하는 것.
• 불확실하거나 변화하는 트랙 레이아웃 하에서 공격적인, 동적으로 타당한 경로 계획에 도전하는 것.
• 재훈련 없이도 다양한 무작위로 생성된 레이스 트랙 간의 온라인 재계획 및 일반화를 가능하게 하는 것.
• 학습된 안전 마진과 충돌 감소를 통해 실제 적용 시 안전성과 내구성을 향상시키는 것.
• 고속 비행 조건에서 실제 동적 환경과 추적 오차를 고려하여 DRL 정책의 물리적 큐브로터로의 전이를 검증하는 것.

제안 방법

• 정책은 시간 최적화를 위해 삼차원 경로 진행도를 근거로 한 맞춤형 밀도 보상 함수를 사용하여 딥 강화학습으로 훈련된다.
• 상태 관측값은 드론의 현재 자세에 대한 상대적 게이트 위치(x, y, z)로 표현되어 절대 좌표 없이 공간 인식을 가능하게 한다.
• 다양한 트랙 구성, 특히 무작위로 설정된 게이트 레이아웃을 포함하여 정책 훈련을 가속화하기 위해 고도로 병렬화된 샘플링 기법을 사용한다.
• 충돌률을 낮추고 불확실한 환경에서의 내구성을 향상시키기 위해 게이트 통과 중 중심까지의 거리를 최소화하는 안전 보상이 도입된다.
• 모델 예측 제어기(MPC)를 통해 물리적 큐브로터에서 실시간 경로 추적을 위한 정책을 구현한다.
• 다양한 복잡도와 게이트 구성의 트랙 간에 일반화할 수 있는 고용량 신경망 정책을 활용한다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 최첨단 경로 최적화 기법과 비슷하거나 이를 충족하는 성능을 보이는 근접 시간 최적의 드론 경로를 생성할 수 있는가?
• RQ2 관측하는 향후 게이트 수가 트랙 불확실성 하에서 랩 타임과 충돌률에 미치는 정책 성능에 어떤 영향을 미치는가?
• RQ3 DRL 정책이 재훈련 없이도 무작위로 생성된 트랙에 얼마나 효과적으로 일반화되고 대규모 트랙 변화에 적응할 수 있는가?
• RQ4 안전 보상 도입이 시뮬레이션과 실제 비행 모두에서 게이트 통과 시 충돌 내성과 안전 마진을 향상시키는가?
• RQ5 학습된 정책이 실제 동적 환경과 추적 오차를 고려한 고속 비행 조건에서 물리적 큐브로터로 성공적으로 전이될 수 있는가?

주요 결과

• DRL 정책은 AlphaPilot 트랙에서 명목상 8.14초의 랩 타임을 기록하여, 경로 최적화에서 도출된 시간 최적 해에 매우 가까운 성능을 달성한다.
• 관측에 향후 두 개의 게이트를 포함할 경우 성능과 내구성의 최적 균형을 이룹니다. 이로써 1000개의 무작위 트랙에서 평균 랩 타임은 8.32초로 단축되고 충돌 비율은 2.5%로 감소한다.
• 안전 보상이 도입된 경우, 성공적인 게이트 통과의 평균 안전 마진은 0.67m(보상 없음)에서 0.95m(2.5m 보상)로 증가하며, 충돌 비율은 2.5%에서 0.8%로 감소한다.
• 정책은 무작위로 생성된 트랙으로의 일반화가 효과적으로 이루어지며, 다양한 레이아웃 간 일관된 성능과 낮은 충돌 비율을 유지한다.
• 이 방법은 물리적 큐브로터에서 최대 시속 60km로 고속 비행을 가능하게 하여, 심한 추적 오차가 존재하는 상황에서도 정책 전이가 성공적으로 이루어졌음을 입증한다.
• 이 방법은 동적 환경에 대한 적응성 면에서 최적화 기반 방법을 능가하며, 온라인 경로 생성을 위한 확장 가능하고 계산 효율적인 대안을 제공한다.