[논문 리뷰] Predictive Visual Tracking: A New Benchmark and Baseline Approach

Bowen Li, Yiming Li외 3명|arXiv (Cornell University)|2021. 03. 08.

Video Surveillance and Tracking Methods참고 문헌 40인용 수 4

한 줄 요약

이 논문은 실시간 로봇 응용 프로그램에서 발생하는 지연을 해결하기 위해 시각 추적과 미래 상태 예측을 결합한 새로운 작업인 예측 시각 추적(PVT)을 소개한다. 지연 인지 평가(LAE) 벤치마크와 플러그인 예측 모듈을 제안함으로써, UAV에서 추적기의 강인성을 향상시켜 실시간 제약 조건 하에서 기준 추적기 대비 최대 33.9% 향상된 거리 정밀도(DP)와 23.6% 향상된 AUC를 달성한다.

ABSTRACT

As a crucial robotic perception capability, visual tracking has been intensively studied recently. In the real-world scenarios, the onboard processing time of the image streams inevitably leads to a discrepancy between the tracking results and the real-world states. However, existing visual tracking benchmarks commonly run the trackers offline and ignore such latency in the evaluation. In this work, we aim to deal with a more realistic problem of latency-aware tracking. The state-of-the-art trackers are evaluated in the aerial scenarios with new metrics jointly assessing the tracking accuracy and efficiency. Moreover, a new predictive visual tracking baseline is developed to compensate for the latency stemming from the onboard computation. Our latency-aware benchmark can provide a more realistic evaluation of the trackers for the robotic applications. Besides, exhaustive experiments have proven the effectiveness of the proposed predictive visual tracking baseline approach.

연구 동기 및 목표

• 로봇 시스템에서 실시간 처리 지연을 忽시하는 시각 추적 벤치마크의 핵심적 격차를 해소한다.
• 지연 조건 하에서 추적 정확도와 계산 효율성을 동시에 측정하는 현실적인 평가 프레임워크를 제안한다.
• 현장에서의 처리 지연을 보완하기 위한 일반적이고 플러그인 방식의 예측 모듈을 개발한다.
• 실제 UAV 하드웨어에서 예측 추적의 유효성을 입증하고, 표준 추적기 대비 측정 가능한 성능 향상을 보여준다.

제안 방법

• 각 타임스탬프에서 객체 상태를 쿼리함으로써 실시간 추적을 시뮬레이션하는 지연 인지 평가(LAE) 벤치마크를 제안하며, 처리 지연을 고려한다.
• 기존 추적기를 확장하여 미래 객체 상태를 예측하는 전예측기(pre-forecaster)와 후예측기(post-forecaster)를 갖춘 예측 시각 추적(PVT) 프레임워크를 도입한다.
• 추적 추론 이전에 운동 추세를 예측하는 전예측기와 시간 동적 특성을 사용해 최종 출력을 정밀화하는 후예측기를 구현한다.
• SiamRPN++ 및 DiMP와 같은 최신 추적기들에 예측 모듈을 플러그인 방식으로 통합하여 최소한의 아키텍처 변경으로 구현한다.
• 실제 UAV 처리 지연을 반영하여 DTB70 데이터셋에서 평가를 수행하며, 거리 정밀도(DP) 및 AUC와 같은 지표를 사용한다.
• 각 예측기의 기여도를 분리하기 위한 아블레이션 연구를 수행하고, 전체 PVT 파이프라인의 효과성을 검증한다.

실험 결과

연구 질문

• RQ1 실시간 UAV 응용에서 처리 지연은 최신 시각 추적기의 성능에 어떻게 악영향을 미치는가?
• RQ2 실시간 계산 제약 조건 하에서 예측 추적 프레임워크는 정확도 향상에 얼마나 기여하는가?
• RQ3 전예측기와 후예측기 모듈이 지연으로 인한 추적 오차를 완화하는 데 기여하는 상대적 기여도는 어떠한가?
• RQ4 일반적이고 플러그인 방식의 예측 모듈은 재학습 없이도 기존 추적기의 강인성을 크게 향상시킬 수 있는가?
• RQ5 다양한 추적 특성(예: 빠른 운동, 가림)은 제안된 PVT 프레임워크의 성능 향상에 어떻게 영향을 미치는가?

주요 결과

• LAE 벤치마크는 실시간 지연 조건에서 비예측 추적기의 성능 저하가 심각함을 드러내며, 특히 느린 모델에서 거리 정밀도(DP)가 최대 57% 감소함을 확인한다.
• 제안된 PVT 기준선은 SiamRPN++_mob 추적기의 DP를 비예측 대비 33.9% 향상시키고 AUC는 23.6% 향상시킨다.
• 후예측기만으로도 DP에서 20% 향상되며, 전예측기는 11% 향상되며, 두 모듈의 조합이 가장 우수한 성능을 기록한다.
• 특성 기반 평가에서 PVT 프레임워크는 UAV 전용 10개 도전 과제 전부에서 1위를 차지했으며, 빠른 카메라 운동(FCM)에서 57% 향상되고, 변형(DEF) 상황에서는 성능이 거의 두 배로 향상됨을 확인했다.
• 정성적 결과에서는 예측 추적기(실선 빨강)가 빠른 운동 및 가림 상황에서 기준 추적기(점선 빨강)가 실패하는 상황에서도 추적 강인성을 유지하는 것으로 나타났다.
• 지연 인지 조건 하에서 DTB70 벤치마크에서 최신 기술 수준의 성능을 달성하여, 실세계 로봇 응용 분야에서의 실용성을 입증한다.