[논문 리뷰] Parallel Tracking and Verifying: A Framework for Real-Time and High Accuracy Visual Tracking

Heng Fan, Haibin Ling|arXiv (Cornell University)|2017. 08. 01.

Video Surveillance and Tracking Methods참고 문헌 35인용 수 56

한 줄 요약

논문은 빠른 추적기와 별도의 검증기를 쌍으로 연결하는 PTAV를 도입하여 실시간 추적을 높은 정확도로 달성하고 필요에 따라 수정이 가능하도록 하여, 실시간 트래커를 능가하면서도 딥러닝 성능에 근접하게 만든다.

ABSTRACT

Being intensively studied, visual tracking has seen great recent advances in either speed (e.g., with correlation filters) or accuracy (e.g., with deep features). Real-time and high accuracy tracking algorithms, however, remain scarce. In this paper we study the problem from a new perspective and present a novel parallel tracking and verifying (PTAV) framework, by taking advantage of the ubiquity of multi-thread techniques and borrowing from the success of parallel tracking and mapping in visual SLAM. Our PTAV framework typically consists of two components, a tracker T and a verifier V, working in parallel on two separate threads. The tracker T aims to provide a super real-time tracking inference and is expected to perform well most of the time; by contrast, the verifier V checks the tracking results and corrects T when needed. The key innovation is that, V does not work on every frame but only upon the requests from T; on the other end, T may adjust the tracking according to the feedback from V. With such collaboration, PTAV enjoys both the high efficiency provided by T and the strong discriminative power by V. In our extensive experiments on popular benchmarks including OTB2013, OTB2015, TC128 and UAV20L, PTAV achieves the best tracking accuracy among all real-time trackers, and in fact performs even better than many deep learning based solutions. Moreover, as a general framework, PTAV is very flexible and has great rooms for improvement and generalization.

연구 동기 및 목표

• 딥러닝 방법은 정확하지만 느리고, 빠른 상관-필터 추적기는 빠르지만 견고성이 낮다는 점에서 실시간 고정밀 시각 추적의 필요성을 동기화한다.
• 빠른 추적기와 검증기를 결합한 두 스레드 PTAV 프레임워크를 제안하여 속도와 정확도의 균형을 맞춘다.
• 표준 벤치마크에서 결과를 선별적으로 검증함으로써 실시간 성능을 해치지 않으면서 강건성을 향상시킨다는 것을 보인다.

제안 방법

• 추적을 두 개의 병렬 구성요소로 분해: 빠른 추적기 T와 별도 스레드에서 작동하는 검증기 V.
• T는 프레임 간 추적을 위한 효율적인 업데이트를 제공하는 빠른 판별 추적기 (fDSST)를 사용한다.
• V는 시암 네트워크 기반의 검증기를 사용하여 선택된 프레임에서 T의 출력을 검증하고 필요 시 T를 보정한다.
• T와 V 사이의 조정은 이벤트 중심이다: T는 주기적으로 검증을 요청하고, V는 보정 정보를 T로 피드백할 수 있다.
• 검증에서 V는 필요할 때 여러 후보 영역을 효율적으로 평가하기 위해 영역 풀링을 활용한다.
• T는 보정 후 빠른 추적 회귀를 가능하게 하기 위해 중간 결과를 저장하여 실시간 성능을 보존한다.

실험 결과

연구 질문

• RQ1 병렬 추적기-검증기 프레임워크가 실시간 추적을 달성하면서 심층 학습 추적기와 동등하거나 그보다 더 높은 정확도를 달성할 수 있는가?
• RQ2 검증 빈도와 로컬 검색 영역을 어떻게 조정하여 속도와 강건성의 균형을 맞출 것인가?
• RQ3 시암 네트워크 검증기를 빠른 상관-필터 추적기에 통합하면 가려짐, 변형, 가림 관련 드리프트에 대한 강건성이 향상되는가?
• RQ4 PTAV 프레임워크 내에서 다른 기본 추적기(fDSST 대 KCF 등)를 사용할 때 정확도와 속도에 어떤 영향을 미치는가?

주요 결과

• PTAV는 OTB2013 및 OTB2015 벤치마크에서 실시간 추적기 중에서 최상의 추적 정확도를 달성한다.
• OTB2015에서 PTAV는 거리 정확도 비율 84.9%와 중첩 성공률 77.6%를 달성하며 실시간 속도(약 25 fps)로 작동한다.
• TC128에서 PTAV는 DPR 74.1% 및 OSR 54.4%를 달성하여 여러 최첨단 방법을 능가한다.
• UAV20L에서 PTAV는 DPR 62.4% 및 OSR 42.3%를 달성하고 약 25 fps를 유지한다.
• PTAV의 두 스레드 설계는 단일 스레드 변형보다 전체 성능을 더 빠르게 만들어 주며, 검증기는 필요할 때만 보정 피드백을 제공하여 효율성을 유지한다.
• PTAV는 배경 잡음, 변형, 가림, 스케일 변화와 같은 속성들에 대해 강건성을 보여주며, 여러 딥 피쳐 및 상관-필터 추적기보다 우수하다.