[논문 리뷰] AirSim Drone Racing Lab

Ratnesh Madaan, Nicholas Gydé외 8명|arXiv (Cornell University)|2019. 12. 14.

Robotic Path Planning Algorithms참고 문헌 33인용 수 14

한 줄 요약

이 논문은 자율 드론 레이싱을 위한 고해상도 시뮬레이션 프레임워크인 AirSim Drone Racing Lab를 소개한다. 이 프레임워크는 사진처럼 사실적인 환경, 다양한 센서 모odal리티(단일 영상, 깊이, 광학 흐름, 뉴모르픽 이벤트 포함), 그리고 포괄적인 API를 통해 인식, 계획, 제어 알고리즘의 빠른 프로토타이핑을 가능하게 한다. 이 프레임워크는 2019년 NeurIPS에서 시뮬레이션 기반 대회를 주최하는 데 사용되었으며, 드론 자율주행 분야의 기계학습 연구에 강력한 시뮬레이션에서 실제 환경으로의 전이 잠재력을 보여주었다.

ABSTRACT

Autonomous drone racing is a challenging research problem at the intersection of computer vision, planning, state estimation, and control. We introduce AirSim Drone Racing Lab, a simulation framework for enabling fast prototyping of algorithms for autonomy and enabling machine learning research in this domain, with the goal of reducing the time, money, and risks associated with field robotics. Our framework enables generation of racing tracks in multiple photo-realistic environments, orchestration of drone races, comes with a suite of gate assets, allows for multiple sensor modalities (monocular, depth, neuromorphic events, optical flow), different camera models, and benchmarking of planning, control, computer vision, and learning-based algorithms. We used our framework to host a simulation based drone racing competition at NeurIPS 2019. The competition binaries are available at our github repository.

연구 동기 및 목표

• 실제 실험의 비용, 위험, 복잡성으로 인해 자율 드론 레이싱 연구에 진입 장벽이 높다는 문제를 해결하기 위해.
• 실제 환경 조건을 밀도 있게 모방함으로써 인식, 계획, 제어 알고리즘의 강건한 테스트와 일반화를 가능하게 하기 위해.
• 엔드 투 엔드 자율주행 시스템의 훈련과 벤치마킹를 위한 확장 가능하고 접근성 있고 확장 가능한 플랫폼을 제공함으로써 기계학습 연구를 촉진하기 위해.
• 사진처럼 사실적인 렌더링, 도메인 랜덤라이제이션, 이벤트 카메라 및 광학 흐름을 포함한 다양한 센서 모달리티 지원을 통해 시뮬레이션에서 실제 환경으로의 격차를 메우기 위해.
• 기계학습 커뮤니티가 드론 레이싱 과제의 복잡한 다중 모듈 자율주행 문제를 해결하도록 유도하기 위해 대규모의 시뮬레이션 전용 대회(2019년 NeurIPS의 Game of Drones)를 개최하기 위해.

제안 방법

• 사진처럼 사실적인 환경과 정확한 드론 동역학을 위해 AirSim과 Unreal Engine을 기반으로 구축하였다.
• 저수준 제어(예: 각도 속도 및 추력 명령), 중수준 제어(속도 및 위치 설정값), 고수준 경로 계획(스플라인 피팅 및 경로 추적)을 위한 포괄적인 API를 제공하였다.
• 변경 가능한 복잡도를 가진 레이싱 트랙 생성을 가능하게 하였으며, 계획 및 인식 과제의 도전도 평가를 위한 다양한 곡률과 게이트 가시성 지표를 포함하였다.
• 단일 영상 RGB, 깊이, 광학 흐름, 그리고 GPU 가속 계산 셰이더를 통한 뉴모르픽 이벤트 기반 센싱을 포함한 다양한 센서 모달리티 지원을 통합하였다.
• 시뮬레이션에서 실제 환경으로의 일반화를 향상시키기 위해 텍스처 랜덤라이제이션과 카메라 파rameter 변화를 통한 도메인 랜덤라이제이션을 구현하였다.
• GPU 기반 셰이더를 사용해 실시간으로 이벤트 생성을 가능하게 하였으며, 픽셀 강도 차이를 계산하고 이를 이질적인 이벤트 데이터로 변환하였다.

실험 결과

연구 질문

• RQ1 고해상도 시뮬레이션 프레임워크는 시뮬레이션에서 실제 환경으로의 전이 능력 유지와 함께 자율 드론 레이싱 시스템 개발에 소요되는 시간, 비용, 위험을 줄일 수 있는가?
• RQ2 특히 뉴모르픽 이벤트와 광학 흐름을 포함한 다양한 센서 모달리티가 시뮬레이션 환경 내에서 엔드 투 엔드 기반 에이전트의 훈련에 얼마나 효과적인가?
• RQ3 시뮬레이션 기반 대회가 기계학습 커뮤니티가 드론 레이싱의 복잡한 다중 모듈 자율주행 문제를 해결하도록 얼마나 잘 유도하고 참여를 이끌 수 있는가?
• RQ4 곡률과 게이트 가시성과 같은 트랙 복잡도 지표는 자율 드론 레이싱에서 인식, 계획, 제어 과제의 어려움과 얼마나 관련이 있는가?
• RQ5 시뮬레이션에서 도메인 랜덤라이제이션과 현실적인 센서 모델링을 사용하면 학습된 정책이 실제 드론 레이싱 시나리오로의 일반화를 얼마나 향상시킬 수 있는가?

주요 결과

• AirSim Drone Racing Lab 프레임워크는 2019년 NeurIPS에서 대규모의 시뮬레이션 전용 드론 레이싱 대회를 성공적으로 주최하는 데 기여하였다. 이 대회에는 기계학습 커뮤니티의 다양한 참여자가 참가하였다.
• 사진처럼 사실적인 렌더링을 지원하는 고해상도 시뮬레이션을 통해 시각 기반 및 기계학습 기반 알고리즘의 효과적인 훈련과 평가가 가능하다.
• GPU 가속 셰이더를 사용한 실시간 뉴모르픽 이벤트 데이터 생성 및 광학 흐름은 이질적이고 운동 기반 센싱의 저지연, 고성능 시뮬레이션을 가능하게 한다.
• 트랙 복잡도 지표인 곡률과 게이트 가시성은 정량적으로 시각화되었으며, 다양한 레이스 환경에서 계획 및 인식 과제의 어려움 평가에 사용되었다.
• 단일 영상, 깊이, 광학 흐름, 이벤트 기반 센싱을 포함한 다양한 센서 모달리티의 통합은 인식 및 제어 알고리즘의 포괄적인 벤치마킹을 가능하게 하였다.
• 확장 가능한 API와 도메인 랜덤라이제이션 지원 덕분에 자율 드론 레이싱을 위한 강건한 정책 훈련과 시뮬레이션에서 실제 환경으로의 일반화가 향상되었다.