[논문 리뷰] Deep Drone Racing: Learning Agile Flight in Dynamic Environments

Elia Kaufmann, Antonio Loquercio외 4명|arXiv (Cornell University)|2018. 06. 22.

Robotic Path Planning Algorithms참고 문헌 30인용 수 30

한 줄 요약

이 논문은 원시 이미지에서 웨이포인트와 속도를 예측하는 컨volution 신경망(CNN)을 사용하는 하이브리드 시각 기반 시스템을 제안한다. 이를 바탕으로 최소자기경로 계획기와 현장 제어기가 궤적을 실행한다. 이 방법은 명시적 지ap 없이 동적인 환경에서 완전 자율적이고 민첩한 드론 레이싱을 가능하게 하며, 고속 주행, 가림, 움직이는 골대 조건에서도 최신 기술 및 인간 조종사보다 뛰어난 내구성과 정밀도를 확보한다.

ABSTRACT

Autonomous agile flight brings up fundamental challenges in robotics, such as coping with unreliable state estimation, reacting optimally to dynamically changing environments, and coupling perception and action in real time under severe resource constraints. In this paper, we consider these challenges in the context of autonomous, vision-based drone racing in dynamic environments. Our approach combines a convolutional neural network (CNN) with a state-of-the-art path-planning and control system. The CNN directly maps raw images into a robust representation in the form of a waypoint and desired speed. This information is then used by the planner to generate a short, minimum-jerk trajectory segment and corresponding motor commands to reach the desired goal. We demonstrate our method in autonomous agile flight scenarios, in which a vision-based quadrotor traverses drone-racing tracks with possibly moving gates. Our method does not require any explicit map of the environment and runs fully onboard. We extensively test the precision and robustness of the approach in simulation and in the physical world. We also evaluate our method against state-of-the-art navigation approaches and professional human drone pilots.

연구 동기 및 목표

• 운동 블러와 드리프트로 인해 전통적인 SLAM 및 상태 추정이 실패하는 동적인 환경에서 고속 자율 드론 비행의 과제를 해결한다.
• 자세 기반 항법을 직접 인식에서 행동으로의 매핑으로 대체함으로써 전역 상태 추정의 한계를 극복한다.
• 오직 현장 계산만을 사용하여 복잡하고 혼잡하며 변화가 많은 환경(예: 움직이는 골대가 있는 드론 레이싱 코스)에서도 안정적이고 실시간으로 항법할 수 있도록 한다.
• 사전 구축된 지도나 고비용 센서에 의존하지 않고, 인식과 제어를 통합한 경량이고 완전히 현장에 통합된 시스템을 개발한다.
• 기계 학습 기반 인식이 동적인 상황에서 전통적인 시각 옵지메트리와 엔지니어링된 제어 파이프라인을 능가함을 입증한다. 특히 중간 수준의 인간 조종사보다 신뢰성이 높다.

제안 방법

• 원시 RGB 이미지에서 드론의 본체 기준 좌표계에서의 목표 웨이포인트와 속도를 직접 예측하는 소형 컨volution 신경망(CNN)을 훈련한다.
• 예측된 웨이포인트와 속도를 최신 기술의 궤적 생성 시스템의 국소 목표로 사용하여 최소자기경로와 해당 모터 명령을 계산한다.
• 안정적이고 민첩한 비행을 위해 생성된 궤적 세그먼트를 추적하는 실시간 제어 스택과 CNN을 통합한다.
• 드론이 복잡한 경로를 모방 학습을 통해 학습할 수 있도록, 전체 CNN을 엔드 투 엔드로 훈련하여 전역 기준 궤적을 따라가도록 한다.
• 외부 국소화 또는 지도 인프라에 의존하지 않고 전체 시스템을 완전히 현장에서 운영한다.
• 체재 기준 명령 표현 방식을 활용하여 전통적인 자세 기반 시스템에서 흔히 발생하는 상태 추정 드리프트에 대한 저항성을 확보한다.

실험 결과

연구 질문

• RQ1 기계 학습 기반 인식 시스템은 명시적 환경 지도 없이도 동적인 환경에서 민첩하고 시각 기반의 드론 레이싱을 가능하게 할 수 있는가?
• RQ2 고속 비행 및 가림 조건에서 CNN 기반 인식 모듈은 전통적인 시각 옵지메트리에 비해 내구성과 정밀도 측면에서 어떻게 비교되는가?
• RQ3 단일 CNN이 재학습 없이도 움직이는 골대와 같은 환경의 동적 변화에 얼마나 잘 일반화되는가?
• RQ4 엔드 투 엔드 인식에서 제어로의 시스템은 실제 레이싱 시나리오에서 최신 기술의 수작업 설계된 항법 파이프라인을 능가할 수 있는가?
• RQ5 복잡하고 동적인 코스에서 자율 시스템의 성능은 인간 조종사와 속도, 정밀도 및 실패율 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 시스템은 시뮬레이션과 실제 실험 모두에서 움직이는 골대가 있는 드론 레이싱 코스를 성공적으로 주행하며, 환경의 동적 변화에 대한 내구성을 입증한다.
• CNN 기반 접근 방식은 고속 주행에서 드리프트 문제로 인해 안정적으로 코스를 완주하지 못하는 시각 옵지메트리(VIO) 기반 베이스라인에 비해 뛰어난 성능을 보인다.
• 특히 가림 조건과 동적 상황에서 최신 기술의 엔지니어링된 항법 시스템보다 더 높은 정밀도와 낮은 실패율을 확보한다.
• 인간 조종사의 공격적인 조작에도 불구하고 자율 드론은 중간 수준의 인간 조종사보다 더 빠르게 코스를 완주하고 더 적은 수의 충돌을 겪는다.
• 훈련 데이터에는 단일 골대 운동만 포함되어 있었음에도 불구하고, 추론 과정에서 예상치 못한 골대 운동에 대해 네트워크가 일반화됨을 확인하였으며, 이는 동적 변화에 대한 강력한 제로샷 일반화 능력을 시사한다.
• 외부 국소화 또는 지도 기반 인프라 없이도 전체 시스템이 완전히 현장에서 운영되며, 복잡한 환경에서 실시간으로 작동하는 경량이고 내구성 있는 시각 기반 항법의 가능성을 입증한다.