[논문 리뷰] Now you see me: evaluating performance in long-term visual tracking

Alan Lukežič, Luka Čehovin Zajc외 3명|arXiv (Cornell University)|2018. 04. 19.

Video Surveillance and Tracking Methods참고 문헌 21인용 수 55

한 줄 요약

이 논문은 장기 추적 평가 프레임워크, 도전적인 LT 데이터셋(LTB35), 새로운 성능 지표(추적 정밀도, 재식별 재현율, F-점수)를 도입하고 다양한 추적기를 분석하여 재-식별 및 업데이트 전략이 장기 성능에 결정적임을 보여주며, 모든 것이 VOT 도구킷에 통합됩니다.

ABSTRACT

We propose a new long-term tracking performance evaluation methodology and present a new challenging dataset of carefully selected sequences with many target disappearances. We perform an extensive evaluation of six long-term and nine short-term state-of-the-art trackers, using new performance measures, suitable for evaluating long-term tracking - tracking precision, recall and F-score. The evaluation shows that a good model update strategy and the capability of image-wide re-detection are critical for long-term tracking performance. We integrated the methodology in the VOT toolkit to automate experimental analysis and benchmarking and to facilitate the development of long-term trackers.

연구 동기 및 목표

• 타깃 존재/부재를 포착하고 재식별 능력을 포섭하는 형식적 장기 추적 평가 프레임워크를 정의한다.
• 많은 소실과 주석이 달린 속성을 가진 도전적인 장기 추적 데이터셋을 생성한다.
• 단기에서 장기로의 추적기 분류학을 확립하고 이 스펙트럼 전반에 걸친 성능을 연구한다.
• 제안된 지표와 데이터셋을 사용하여 광범위한 장기 및 단기 추적기를 평가하고 핵심 성능 요인을 식별한다.

제안 방법

• 장기 추적을 위한 추적 정밀도와 재식별(re-detection) 재현율을 도입하고, 이를 주요 순위 지표로서의 F-score로 도출한다.
• tau_theta와 tau_Omega 임계치를 정의하고 tau_Omega를 적분하여 임계치에 독립적인 측정치 Pr(tau_theta)와 Re(tau_theta)을 얻는다.
• 재식별 및 업데이트 전략으로 추적기를 분류하는 단기/장기 계층(ST0, ST1, LT0, LT1)을 제안한다.
• 35개의 시퀀스와 10개의 시각 속성으로 구성된 LTB35 데이터셋을 구축하되 목표 disappearances를 강조한다.
• 평가 방법론과 추적기를 VOT 도구킷에 통합하여 자동 벤치마킹을 가능하게 한다.

실험 결과

연구 질문

• RQ1 장기 추적을 어떻게 평가해야 목표 부재와 재식별을 반영할 수 있는가?
• RQ2 장기 추적기를 가장 크게 도전시키는 데이터셋 속성(소실, 속성)은 무엇인가?
• RQ3 어떤 추적기 설계(재식별, 업데이트 전략)가 장기 성능에 가장 큰 이점을 주는가?
• RQ4 장기 추적기가 긴 시퀀스에서 단기 추적기와 비교했을 때 어떤 차이가 나타나는가?

주요 결과

• 새로운 장기 추적 벤치마크(LTB35)에서 평균 F-score가 약 0.48 정도로 최적점 근처이며 개선 여지가 있음을 보여준다.
• 재식별 능력과 세심한 시각 모델 업데이트가 강력한 장기 추적 성능에 결정적이다.
• LT1 추적기(FCLT, MUSTER, TLD 등)가 장기 시퀀스에서 다수의 ST1 및 LT0 방법보다 우수한 반면, MDNet, SiamFC, ECO와 같은 일부 ST1 추적기도 좋은 성능을 보인다.
• 성능은 원시 시퀀스 길이보다 목표 소실 횟수와 더 강하게 관련되어 있다.
• 속도 분석은 많은 추적기가 비용이 큰 재식별 또는 학습 작업을 수행하며 초기화 시간이 총 런타임을 지배할 수 있음을 시사한다.