[논문 리뷰] AutoTrack: Towards High-Performance Visual Tracking for UAV with Automatic Spatio-Temporal Regularization

Yiming Li, Changhong Fu외 3명|arXiv (Cornell University)|2020. 03. 29.

Video Surveillance and Tracking Methods참고 문헌 58인용 수 14

한 줄 요약

AutoTrack는 응답 맵으로부터 스펙트럼적-시간적 정규화를 자동으로 학습하는 DCF 기반의 새로운 시각 추적기로, 국소적 응답 변동성을 이용해 신뢰할 수 있는 객체 부분에 집중하고, 전역적 변동성을 이용해 필터 갱신을 적응적으로 제어한다. 단일 CPU에서 약 60 FPS로 최신 기술 수준의 성능을 달성하며, UAV 기준 벤치마크에서 CPU 및 GPU 기반 추적기들을 모두 능가하여 실생활 환경에서 실시간이고 정확한 UAV 위치 추정을 가능하게 한다.

ABSTRACT

Most existing trackers based on discriminative correlation filters (DCF) try to introduce predefined regularization term to improve the learning of target objects, e.g., by suppressing background learning or by restricting change rate of correlation filters. However, predefined parameters introduce much effort in tuning them and they still fail to adapt to new situations that the designer did not think of. In this work, a novel approach is proposed to online automatically and adaptively learn spatio-temporal regularization term. Spatially local response map variation is introduced as spatial regularization to make DCF focus on the learning of trust-worthy parts of the object, and global response map variation determines the updating rate of the filter. Extensive experiments on four UAV benchmarks have proven the superiority of our method compared to the state-of-the-art CPU- and GPU-based trackers, with a speed of ~60 frames per second running on a single CPU. Our tracker is additionally proposed to be applied in UAV localization. Considerable tests in the indoor practical scenarios have proven the effectiveness and versatility of our localization method. The code is available at https://github.com/vision4robotics/AutoTrack.

연구 동기 및 목표

• 사전 정의된 정규화의 한계를 해결하기 위해, 수동 튜닝이 필요하고 예측 불가능한 시각적 변화에 적응하지 못하는 DCF 기반 추적기의 문제를 해결한다.
• 일조 변화, 가림, 객체 변형과 같은 도전적인 UAV 환경에서 추적의 견고성을 향상시킨다.
• 응답 맵의 변동성에 기반해 동적으로 조정되는 자가 적응 정규화 메커니즘을 개발하여 수동 하이퍼파라미터 튜닝을 제거한다.
• 추적기의 정확성과 실시간 성능을 활용해 실내 환경에서 실시간 UAV 위치 추정을 가능하게 하기 위해 시각 추적을 실용적인 UAV 위치 추정으로 확장한다.
• 기본 벤치마크를 넘어서 실제 환경에서의 일반성과 효과성을 입증한다.

제안 방법

• 객체의 낮은 신뢰성 영역(예: 가림되거나 왜곡된 부분)에서의 학습을 억제하기 위해 국소적 응답 맵 변동성에 기반한 공간 정규화를 도입한다.
• 전역적 응답 맵 변동성을 사용해 필터 갱신 빈도를 제어한다: 높은 변동성은 추적 오류의 가능성을 시사하므로 학습을 일시정지하거나 감소시킨다.
• 내재된 응답 맵 통계를 이용해 정규화 항의 하이퍼파라미터를 온라인으로 자동 튜닝하여 수동 튜닝을 제거한다.
• 적응 정규화를 분류 상관관계 필터(DCF) 프레임워크에 통합하여 푸리에 도메인에서 효율적인 계산을 가능하게 한다.
• 모션 캡처 시스템의 진짜 위치 정보를 활용해 추적된 시각적 특징에서 UAV 자세를 추정함으로써 추적기를 위치 추정 모듈로 통합한다.
• 네 개의 UAV 벤치마크와 여섯 개의 실제 실내 데이터셋에서 추적기를 종합적으로 훈련 및 평가하여 위치 추정 검증을 수행한다.

실험 결과

연구 질문

• RQ1 수동 하이퍼파라미터 튜닝 없이도 자동으로 데이터 기반 정규화가 동적인 UAV 조건에서 DCF 기반 시각 추적 성능을 향상시킬 수 있는가?
• RQ2 국소적 응답 변동성은 객체 부분의 신뢰성과 어떻게 관련되어 있으며, 이를 상관관계 필터의 선택적 학습을 이끄는 데 사용할 수 있는가?
• RQ3 전역적 응답 변동성이 추적 신뢰도를 적응적으로 제어하기 위한 신뢰할 수 있는 지표로 기능할 수 있는가?
• RQ4 AutoTrack는 정확도, 속도, 견고성 측면에서 UAV 벤치마크에서 최신 기술 수준의 CPU 및 GPU 기반 추적기들을 얼마나 능가하는가?
• RQ5 제안된 추적기는 실생활 실내 환경에서 실시간 UAV 위치 추정에 효과적으로 적용될 수 있는가?

주요 결과

• AutoTrack는 UAV 벤치마크에서 AUC 0.495의 성공률을 기록하여 STRCF를 2.7% 뛰어넘고, 두 개의 UAV 데이터셋에서 여러 최신 기술 수준의 딥 러닝 추적기들을 초월한다.
• 일조 변화 및 큰 가림과 같은 도전적인 조건에서 AutoTrack는 각각 STRCF보다 성공률에서 7.0%와 15.7% 향상되었으며, 이는 적응적 공간 정규화와 이상 탐지 덕분이다.
• 단일 CPU에서 약 60 FPS로 실행되어 가장 높은 성능을 보이는 CPU 기반 추적기이며, GPU 기반 최신 기술 수준의 방법들과도 경쟁 가능하다.
• 절단 실험 결과, 자동 공간 정규화(ASR)와 자동 시간 정규화(ATR) 모두 성능 향상에 기여하며, ATR는 오염된 샘플에 대한 학습을 줄여 속도 향상에도 기여한다.
• UAV 위치 추정에서 2,666 프레임 동안 평균 위치 오차가 3.44 cm(RMSE)로 측정되어 실내 실생활 시나리오에서 높은 정확성과 실시간 실행 가능성임을 입증한다.
• 여섯 개의 서로 다른 실내 데이터셋에서 다양한 궤적과 객체 외관을 가진 환경에서도 일관된 성능을 보여 일반화 능력이 뛰어나다.