[논문 리뷰] Teaching UAVs to Race Using Sim4CV

Matthias Müller, Vincent Casser외 3명|arXiv (Cornell University)|2017. 08. 19.

Robotic Path Planning Algorithms참고 문헌 31인용 수 3

한 줄 요약

이 논문은 사진처럼 사실적인 시뮬레이션(Sim4CV) 환경에서 애니메이션 학습을 사용하여 엔드 투 엔드 UAV 레이싱 제어를 위한 딥 네ural 네트워크를 훈련시키는 방법을 제안한다. 데이터 증강을 통해 항법 오류를 보정하며, 최신 기술 대비 뛰어난 성능을 달성하고 임베디드 하드웨어에서 실시간 추론이 가능하게 하여 인간 조종사보다 뛰어난 강건성과 일관성을 입증한다.

ABSTRACT

Automating the navigation of unmanned aerial vehicles (UAVs) in diverse scenarios has gained much attention in recent years. However, teaching UAVs to fly in challenging environments remains an unsolved problem, mainly due to the lack of training data. In this paper, we train a deep neural network to predict UAV controls from raw image data for the task of autonomous UAV racing in a photo-realistic simulation. Training is done through imitation learning with data augmentation to allow for the correction of navigation mistakes. Extensive experiments demonstrate that our trained network (when sufficient data augmentation is used) outperforms state-of-the-art methods and flies more consistently than many human pilots. Additionally, we show that our optimized network architecture can run in real-time on embedded hardware, allowing for efficient on-board processing critical for real-world deployment. From a broader perspective, our results underline the importance of extensive data augmentation techniques to improve robustness in end-to-end learning setups.

연구 동기 및 목표

• 부족한 실세계 훈련 데이터로 인해 복잡하고 동적인 환경에서 UAV를 항법하는 데 도전하는 문제를 해결한다.
• 원시 이미지 입력과 엔드 투 엔드 정책 학습만을 사용하여 자율 UAV 레이싱을 가능하게 한다.
• 애니메이션 학습 중 광범위한 데이터 증강을 통해 UAV 제어의 일반화 능력과 강건성을 향상시킨다.
• 실제 응용 시나리오에 적합한 임베디드 하드웨어에서 실시간 추론을 보장한다.

제안 방법

• 애니메이션 학습을 사용하여 원시 RGB 이미지 관측값을 직접 UAV 제어 명령어로 매핑하는 딥 네ural 네트워크를 훈련시킨다.
• 다양하고 확장 가능한 훈련 데이터를 생성하기 위해 사진처럼 사실적인 시뮬레이션 환경(Sim4CV)을 활용한다.
• 훈련 중 데이터 증강 기법을 적용하여 항법 실수를 보정하고 정책의 강건성을 향상시킨다.
• 저지연 추론을 가능하게 하기 위해 네트워크 아키텍처를 최적화하여 임베디드 시스템에 실시간 배포를 가능하게 한다.
• 애니메이션 학습 과정을 감독하기 위해 인간 조종 비행 데이터를 전문가의 예시로 사용한다.
• 시뮬레이션에서 정책 성능을 평가하고 임베디드 하드웨어에서 실시간 추론 능력을 평가한다.

실험 결과

연구 질문

• RQ1 사진처럼 사실적인 시뮬레이션에서 데이터 증강을 통한 애니메이션 학습이 최신 기술 대비 뛰어난 레이싱 성능을 달성할 수 있는가?
• RQ2 데이터 증강이 엔드 투 엔드 UAV 제어 정책의 강건성과 일관성에 얼마나 기여하는가?
• RQ3 훈련된 정책이 실시간 추론을 수행할 수 있는 임베디드 하드웨어에서 배치가 가능한가?
• RQ4 학습된 정책의 성능은 인간 조종사의 일관성과 속도 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 Sim4CV 시뮬레이션 환경 내에서 최신 기술 대비 뛰어난 자율 UAV 레이싱 성능을 달성한다.
• 적절한 데이터 증강을 통해 훈련된 정책는 많은 인간 조종사보다 더 높은 일관성과 성능을 보여준다.
• 최적화된 네트워크 아키텍처는 임베디드 하드웨어에서 실시간 추론을 달성하여 현장 배치가 가능하다.
• 데이터 증강은 훈련 중 항법 오류를 보정함으로써 정책의 강건성을 크게 향상시킨다.
• 원시 이미지 입력과 애니메이션 학습을 통한 엔드 투 엔드 학습은 UAV 레이싱에 대해 확장 가능하고 효과적인 솔루션을 제공한다.
• 결과는 엔드 투 엔드 시각 기반 제어 시스템에서 일반화 능력을 향상시키는 데 있어 데이터 증강의 핵심적 역할을 강조한다.