[논문 리뷰] Implementation of an Onboard Visual Tracking System with Small Unmanned Aerial Vehicle (UAV)

Ashraf Qadir, William Semke외 1명|arXiv (Cornell University)|2012. 05. 25.

Robotics and Sensor-Based Localization참고 문헌 7인용 수 11

한 줄 요약

이 논문은 자동으로 작동하는 탑재 컴퓨터를 사용하여 소형 무인항공기(UAV)에서 계산 효율적이고 실시간으로 작동하는 온보드 시각 추적 시스템을 제시한다. 객체 초기화에는 사전 비행 저장 이미지 패치 또는 지상 운영자 선택의 두 가지 방법을 사용하며, 조도 변화와 시점 변화에 대해 강건성을 유지하여 실험실 및 비행 테스트에서 실시간 추적을 성공적으로 구현한다. 추적 실패 후 재검출 기능도 제공한다.

ABSTRACT

This paper presents a visual tracking system that is capable or running real time on-board a small UAV (Unmanned Aerial Vehicle). The tracking system is computationally efficient and invariant to lighting changes and rotation of the object or the camera. Detection and tracking is autonomously carried out on the payload computer and there are two different methods for creation of the image patches. The first method starts detecting and tracking using a stored image patch created prior to flight with previous flight data. The second method allows the operator on the ground to select the interest object for the UAV to track. The tracking system is capable of re-detecting the object of interest in the events of tracking failure. Performance of the tracking system was verified both in the lab and during actual flights of the UAV. Results show that the system can run on-board and track a diverse set of objects in real time.

연구 동기 및 목표

• 제한된 온보드 처리 능력을 지닌 자원 제약이 있는 소형 UAV에서 실시간 시각 추적을 해결한다.
• GPS 또는 외부 인프라에 의존하지 않고 선택된 객체를 자율적으로 추적할 수 있도록 한다.
• 비행 중 조도 변화 및 객체/카메라 회전에 대해 강건성을 확보한다.
• 사전 저장된 이미지 패치 또는 실시간 지상 운영자 선택을 위한 두 가지 초기화 방법을 제공한다.
• 추적 실패 후 신뢰도 높은 재검출을 통해 임무 지속성을 유지한다.

제안 방법

• 소형 UAV의 임베디드 시스템에 적합한 계산 효율적인 패치 기반 시각 추적 알고리즘을 사용한다.
• 변동하는 조도 조건에서도 추적을 유지하기 위해 적응형 특징 표현을 사용하는 템플릿 매칭 접근법을 적용한다.
• 국소 강도 패턴 또는 기울기 기반 특징을 활용하여 회전에 강인한 추적 메커니즘을 구현한다.
• 추적 신뢰도가 임계값 이하로 떨어지면 작동하는 재검출 모듈을 도입하며, 마지막으로 알려진 위치 주변의 검색 창을 사용한다.
• 이중 초기화를 지원한다: 이전 비행 데이터에서 사전 저장된 이미지 패치 또는 지상 제어에서 실시간 선택.
• 전체적으로 UAV의 온보드 컴퓨터에서 실행되어 지연 시간과 외부 시스템 의존도를 최소화한다.

실험 결과

연구 질문

• RQ1 제한된 계산 자원을 지닌 소형 UAV에서 경량 시각 추적 시스템이 실시간 성능을 달성할 수 있는가?
• RQ2 비행 중 조도 변화 및 객체/카메라 회전에 대해 추적 시스템의 강건성은 어느 정도인가?
• RQ3 사전 비행 템플릿 초기화와 실시간 지상 운영자 선택 간의 성능 상충 관계는 어떠한가?
• RQ4 일시적인 추적 실패 후 시스템이 목표를 신뢰성 있게 재검출할 수 있는가?
• RQ5 실제 UAV 비행 운영 중 시스템이 정확성과 안정성을 어느 정도 유지하는가?

주요 결과

• 시스템은 외부 지원 없이도 소형 UAV의 온보드 탑재 컴퓨터에서 실시간으로 성공적으로 실행된다.
• 다양한 조도 조건과 객체 회전 상황에서도 추적 성능이 안정적으로 유지되어 강건성을 입증한다.
• 재검출 메커니즘이 추적 실패를 효과적으로 복구하여 자율 운영의 지속성을 보장한다.
• 사전 저장된 패치와 실시간 선택이라는 두 가지 초기화 방법 모두 다양한 시나리오에서 신뢰할 만한 추적을 가능하게 한다.
• 실험실 및 비행 테스트를 통해 다양한 객체를 일관된 정확도로 추적할 수 있음을 확인한다.
• 낮은 계산 오버헤드로 실시간 성능를 달성하여 소형 저전력 UAV 플랫폼에 적합하다.