[논문 리뷰] EVDodge: Embodied AI For High-Speed Dodging On A Quadrotor Using Event Cameras.

Nitin J. Sanket, Chethan M. Parameshwara외 5명|arXiv (Cornell University)|2019. 06. 07.

Robotics and Sensor-Based Localization참고 문헌 9인용 수 14

한 줄 요약

이 논문은 단일 이벤트 카메라를 사용하여 고속 회피를 위한 실시간, 차량 내 딥러닝 시스템인 EVDodge를 제안한다. 시뮬레이션에서 자가운동과 동적 장애물 운동을 추정하기 위해 얕은 신경망을 사용하며, 실세계 시나리오로 직접 전이되어 다양한 장애물과 저조도 조건에서 70%의 성공률을 기록한다— quadrotor에서 이벤트 카메라 기반의 동적 장애물 회피를 위한 처음으로 종단 간 학습 기반 솔루션이다.

ABSTRACT

Dynamic obstacle avoidance on quadrotors requires low latency. A class of sensors that are particularly suitable for such scenarios are event cameras. In this paper, we present a deep learning -- based solution for dodging multiple dynamic obstacles on a quadrotor with a single event camera and on-board computation. Our approach uses a series of shallow neural networks for estimating both the ego-motion and the motion of independently moving objects. The networks are trained in simulation and directly transfer to the real world without any fine-tuning or retraining. We successfully evaluate and demonstrate the proposed approach in many real-world experiments with obstacles of different shapes and sizes, achieving an overall success rate of 70% including objects of unknown shape and a low light testing scenario. To our knowledge, this is the first deep learning -- based solution to the problem of dynamic obstacle avoidance using event cameras on a quadrotor. Finally, we also extend our work to the pursuit task by merely reversing the control policy, proving that our navigation stack can cater to different scenarios.

연구 동기 및 목표

• 고속 조건에서 quadrotor에서 실시간, 차량 내 동적 장애물 회피를 가능하게 하기.
• 이벤트 카메라를 사용하여 동적 환경에서 저지연 인식에 도전하기.
• 실세계에 대한 정밀 캘리브레이션 없이도 시뮬레이션에서 학습된 학습 기반 시스템을 직접 구현하기.
• 다양한 장애물 형태, 크기 및 저조도 조건에서의 강건성 입증하기.
• 정책 반전을 통해 추적과 같은 다른 항법 작업으로 프레임워크 확장하기.

제안 방법

• 이벤트 카메라 데이터에서 자가운동과 별개로 움직이는 장애물의 운동을 추정하기 위해 시뮬레이션에서 얕은 신경망을 훈련한다.
• 네트워크는 이질적인 이벤트 스트림을 처리하여 실시간으로 시공간적 특징을 추출하고 운동 벡터를 추론한다.
• 다양한 장애물 역학과 환경 조건을 가진 합성 데이터를 사용하여 시뮬레이션에서 전체적으로 훈련한다.
• 훈련된 정책은 실세계에서의 정밀 캘리브레이션 없이도 직접 드론에 배포되어 저지연 추론을 보장한다.
• 제어 정책을 반전시켜 추적 작업을 가능하게 하여 항법 스택의 유연성 입증한다.
• 차량 내 계산을 통해 실시간 성능 확보—고속 비행에 필수적인 요건을 충족한다.

실험 결과

연구 질문

• RQ1 이벤트 카메라를 사용하는 학습 기반 시스템이 최소한의 지연으로 드론에서 실시간 동적 장애물 회피를 달성할 수 있는가?
• RQ2 시뮬레이션에서 훈련된 정책이 정밀 캘리브레이션 없이 실세계 시나리오로 일반화되는 정도는 어떠한가?
• RQ3 알 수 없는 형태의 장애물과 저조도 조건에서 이러한 시스템의 성능은 어떠한가?
• RQ4 동일한 인식 및 제어 스택을 추적과 같은 다른 항법 작업에 재사용할 수 있는가?
• RQ5 단일 이벤트 카메라만을 사용하여 고속 회피 시나리오에서 달성할 수 있는 성공 수준은 무엇인가?

주요 결과

• 실세계 고속 회피 실험에서 70%의 성공률 기록—알 수 없는 형태의 장애물 포함.
• 정밀 캘리브레이션 없이도 시뮬레이션에서 실세계로의 전이가 효과적이며, 강력한 일반화 능력을 입증.
• 저조도 조건에서도 성공적으로 작동하여 이벤트 카메라 센싱의 장점 부각.
• 정책 반전을 통해 동일한 인식 및 제어 스택이 추적 작업을 가능하게 하여 광범위한 적용 가능성 입증.
• 얕은 네트워크의 사용으로 차량 내 실시간 추론 가능—고속 비행의 저지연 요구 조건 충족.
• 이벤트 카메라 기반의 동적 장애물 회피를 위한 실세계 구현에서 처음으로 학습 기반 솔루션.