[논문 리뷰] REDBEE: A Visual-Inertial Drone System for Real-Time Moving Object Detection

Chong Huang, Peng Chen외 3명|arXiv (Cornell University)|2017. 12. 26.

Robotics and Sensor-Based Localization참고 문헌 19인용 수 8

한 줄 요약

REDBEE는 강력한 시차를 견디기 위해 관성 보조 双평면 호모지니 계측을 결합하고, 공간적·시간적·엔트로피 일관성을 활용한 확률 모델을 통해 동적 배경을 억제함으로써 저전력 차량 내장 프로세서에서 실시간으로 정확한 이동 물체 검출을 가능하게 하는 실시간 시각-관성 드론 시스템이다. 이 시스템은 상용 드론 하드웨어에서 외부 환경에서 높은 정확도를 달성하며, 최신의 차량 내장 방법을 능가한다.

ABSTRACT

Aerial surveillance and monitoring demand both real-time and robust motion detection from a moving camera. Most existing techniques for drones involve sending a video data streams back to a ground station with a high-end desktop computer or server. These methods share one major drawback: data transmission is subjected to considerable delay and possible corruption. Onboard computation can not only overcome the data corruption problem but also increase the range of motion. Unfortunately, due to limited weight-bearing capacity, equipping drones with computing hardware of high processing capability is not feasible. Therefore, developing a motion detection system with real-time performance and high accuracy for drones with limited computing power is highly desirable. In this paper, we propose a visual-inertial drone system for real-time motion detection, namely REDBEE, that helps overcome challenges in shooting scenes with strong parallax and dynamic background. REDBEE, which can run on the state-of-the-art commercial low-power application processor (e.g. Snapdragon Flight board used for our prototype drone), achieves real-time performance with high detection accuracy. The REDBEE system overcomes obstacles in shooting scenes with strong parallax through an inertial-aided dual-plane homography estimation; it solves the issues in shooting scenes with dynamic background by distinguishing the moving targets through a probabilistic model based on spatial, temporal, and entropy consistency. The experiments are presented which demonstrate that our system obtains greater accuracy when detecting moving targets in outdoor environments than the state-of-the-art real-time onboard detection systems.

연구 동기 및 목표

• 제한된 차량 내장 계산 성능을 가진 드론을 사용한 항공 감시에서 실시간으로 정확한 이동 물체 검출 문제를 해결하기 위해.
• 드론 비행에서 흔히 발생하는 움직이는 카메라 상황에서 강력한 시차 효과를 극복하기 위해.
• 흔들리는 나무나 움직이는 그림자와 같은 동적 배경으로 인한 잘못된 경고를 억제하기 위해.
• 지상국 계산을 의존하지 않고도 저전력 상용 드론 프로세서에서 고성능 운동 검출을 가능하게 하기 위해.
• 실시간으로 작동하면서도 복잡한 외부 환경에서 높은 정확도를 유지하는 시스템을 개발하기 위해.

제안 방법

• 시스템은 단일 카메라와 관성 측정 장치(IMU)의 데이터를 융합하여 움직임을 견고하게 추정하는 시각-관성 융합 접근법을 사용한다.
• 항공 운동에서 강한 시차로 인한 오차를 완화하기 위해 관성 보조 双평면 호모지니 계측을 적용한다.
• 공간적·시간적·엔트로피 일관성을 통합하는 확률 모델을 사용하여 이동 물체와 배경 운동을 구분한다.
• 실시간 성능을 유지하면서도 물체 검출의 시간적 일관성을 확보하기 위해 슬라이딩 윈도우 방식을 사용한다.
• 상용 저전력 프로세서(Snapdragon Flight)에서 실행되어 외부 계산 지원 없이 구현이 가능하다.
• 정확도와 계산 효율성의 균형을 고려해 임베디드 배포를 최적화한 알고리즘이다.

실험 결과

연구 질문

• RQ1 강력한 시차가 존재하는 동적 외부 환경에서 실시간 차량 내장 운동 검출 시스템이 높은 정확도를 달성할 수 있는가?
• RQ2 고속 드론 운동 조건에서 관성 데이터를 어떻게 효과적으로 시각 데이터와 융합하여 호모지니 추정을 향상시킬 수 있는가?
• RQ3 공간적·시간적·엔트로피 일관성은 동적 배경으로 인한 잘못된 경고를 어느 정도 감소시킬 수 있는가?
• RQ4 저전력 임베디드 프로세서가 실시간 운동 검출을 충분한 정확도로 처리하여 실용적인 드론 응용에 적합한가?
• RQ5 제안된 시스템은 최신 차량 내장 시스템과 비교해 검출 정확도와 내구성 측면에서 어떻게 성과를 내는가?

주요 결과

• REDBEE는 상용 저전력 프로세서(Snapdragon Flight)에서 실시간 성능을 달성하여 임베디드 배포의 가능성을 입증한다.
• 특히 강력한 시차가 존재하는 장면에서, 시스템은 최신 차량 내장 운동 검출 시스템을 능가한다.
• 관성 보조 双평면 호모지니 계측은 강한 시차 조건에서 운동 추정 정확도를 크게 향상시킨다.
• 공간적·시간적·엔트로피 일관성을 기반으로 한 확률 모델은 동적 배경으로 인한 잘못된 경고를 효과적으로 억제한다.
• 움직이는 식생과 변화하는 조명 조건이 존재하는 복잡한 장면에서도 시스템은 높은 검출 정확도를 유지한다.
• 실험 결과, 다양한 외부 시험 환경에서 기존 실시간 차량 내장 시스템과 비교해 REDBEE가 뛰어난 정확도를 확보함을 입증하였다.