[논문 리뷰] Unsupervised Lightweight Single Object Tracking with UHP-SOT++

Zhiruo Zhou, Hongyu Fu외 2명|arXiv (Cornell University)|2021. 11. 15.

Video Surveillance and Tracking Methods참고 문헌 45인용 수 5

한 줄 요약

UHP-SOT++는 STRCF 기반 모델을 배경 운동 모델링과 객체 박스 궤적 모델링으로 개선하고, 향상된 융합 전략을 사용하여 정확도와 강인성을 향상시킨 비지도형 경량 단일 객체 추적기이다. 사전 훈련 없이도 최신 기술 수준의 성능을 달성하며, i5 CPU에서 최소한의 모델 크기로 20 FPS로 실시간 작동한다.

ABSTRACT

An unsupervised, lightweight and high-performance single object tracker, called UHP-SOT, was proposed by Zhou et al. recently. As an extension, we present an enhanced version and name it UHP-SOT++ in this work. Built upon the foundation of the discriminative-correlation-filters-based (DCF-based) tracker, two new ingredients are introduced in UHP-SOT and UHP-SOT++: 1) background motion modeling and 2) object box trajectory modeling. The main difference between UHP-SOT and UHP-SOT++ is the fusion strategy of proposals from three models (i.e., DCF, background motion and object box trajectory models). An improved fusion strategy is adopted by UHP-SOT++ for more robust tracking performance against large-scale tracking datasets. Our second contribution lies in an extensive evaluation of the performance of state-of-the-art supervised and unsupervised methods by testing them on four SOT benchmark datasets - OTB2015, TC128, UAV123 and LaSOT. Experiments show that UHP-SOT++ outperforms all previous unsupervised methods and several deep-learning (DL) methods in tracking accuracy. Since UHP-SOT++ has extremely small model size, high tracking performance, and low computational complexity (operating at a rate of 20 FPS on an i5 CPU even without code optimization), it is an ideal solution in real-time object tracking on resource-limited platforms. Based on the experimental results, we compare pros and cons of supervised and unsupervised trackers and provide a new perspective to understand the performance gap between supervised and unsupervised methods, which is the third contribution of this work.

연구 동기 및 목표

• 사전 훈련이나 대규모 애너테이션 없이도 비지도형과 지도형 단일 객체 추적기 간의 성능 격차를 해소하는 것.
• 드론 및 모바일 디바이스와 같은 자원 제한된 플랫폼에서 실시간 고정확도 추적을 가능하게 하는 것.
• 운동 기반 모델링을 통해 추적 이격, 음영, 외관 변화에 대한 강인성을 향상시키는 것.
• 강력한 일반화 능력을 보이며 투명하고 해석 가능한 블랙박스 딥러닝 추적기의 대안을 제공하는 것.
• 정확도, 효율성, 적응 가능성 측면에서 지도형과 비지도형 추적기 간의 상호 교환 가능성을 경험적으로 분석하는 것.

제안 방법

• 배경 운동 모델링과 객체 박스 궤적 예측이라는 두 가지 새로운 모듈을 STRCF 추적기에 통합한다.
• 배경 운동 모델링을 통해 객체 주변 배경 영역의 운동 패턴을 분석하여 이격를 탐지하고 수정한다.
• 이력 운동 경향을 기반으로 미래의 객체 위치를 예측함으로써 음영 상황에서 강인성을 향상시킨다.
• 학습된 신뢰도 가중치를 사용하여 DCF, 배경 운동, 궤적 모델의 제안을 적응형으로 융합하는 새로운 융합 전략을 적용한다.
• 모든 과정을 비지도형 방식으로 수행하여 애너테이션 훈련 데이터나 영상 데이터셋에 대한 사전 훈련이 필요하지 않다.
• 빠른 추론을 위해 푸리에 도메인 상의 상관관계를 활용하여 코드 최적화 없이도 i5 CPU에서 20 FPS로 실시간 성능을 확보한다.

실험 결과

연구 질문

• RQ1 사전 훈련이나 대규모 애너테이션 없이도 비지도형 추적기가 딥러닝 기반 지도형 추적기 수준의 성능을 달성할 수 있는가?
• RQ2 배경 운동과 객체 궤적 모델링을 통합함으로써 음영과 외관 변화 상황에서 장기 추적의 강인성이 어떻게 향상되는가?
• RQ3 비지도형 환경에서 여러 추적 제안을 융합하는 데 있어 정교한 융합 전략의 영향은 무엇인가?
• RQ4 정확도, 속도, 그리고 새로운 객체에 대한 일반화 능력 측면에서 지도형과 비지도형 추적기의 성능 특성에는 어떤 차이가 있는가?
• RQ5 경량 비지도형 추적기가 엣지 디바이스에서 효율적으로 작동하면서도 높은 정확도를 유지할 수 있는가?

주요 결과

• UHP-SOT++는 OTB2015, TC128, UAV123, LaSOT 벤치마크에서 이전의 모든 비지도형 단일 객체 추적기보다 뛰어난 성능을 보였다.
• 사전 훈련 없이도 비지도형 추적기 중 최고 수준의 성능을 달성했으며, SiamRPN++와 같은 일부 딥러닝 기반 방법과의 격차를 좁혔다.
• 코드 최적화 없이도 i5 CPU에서 20 FPS로 작동하여 높은 효율성과 실시간 능력을 입증했다.
• 완전 음영, 척도 변화, 종횡비 변화가 발생하는 도전적인 시퀀스에서도 UHP-SOT++는 추적 실패를 성공적으로 복구했다.
• DCF, 배경 운동, 궤적 모델의 융합은 객체 박스 예측의 강인성과 유연성을 크게 향상시켰다.
• 실험 결과, UHP-SOT++와 같은 비지도형 추적기는 지도형 추적기보다 드문 또는 새로운 객체 카테고리에 대해 더 우수한 일반화 능력을 보였다.