[논문 리뷰] Performance Evaluation Methodology for Long-Term Visual Object Tracking

Alan Lukežič, Luka Čehovin Zajc외 3명|arXiv (Cornell University)|2019. 06. 19.

Video Surveillance and Tracking Methods인용 수 2

한 줄 요약

이 논문은 장기 시각적 객체 추적을 위한 새로운 성능 평가 방법론과 벤치마크를 소개한다. 새로운 정밀도, 재현율, F-스코어 측정치는 단기 지표를 일반화하고 희박한 애너테이션에 강건하다. 핵심 기여는 VOT 툴킷에 통합된 표준화되고 확장 가능한 평가 프레임워크로, 목표물이 자주 사라지는 시퀀스와 고장력 확장성에 대한 장기 추적기 간 신뢰성 있는 비교를 가능하게 한다.

ABSTRACT

A long-term visual object tracking performance evaluation methodology and a benchmark are proposed. Performance measures are designed by following a long-term tracking definition to maximize the analysis probing strength. The new measures outperform existing ones in interpretation potential and in better distinguishing between different tracking behaviors. We show that these measures generalize the short-term performance measures, thus linking the two tracking problems. Furthermore, the new measures are highly robust to temporal annotation sparsity and allow annotation of sequences hundreds of times longer than in the current datasets without increasing manual annotation labor. A new challenging dataset of carefully selected sequences with many target disappearances is proposed. A new tracking taxonomy is proposed to position trackers on the short-term/long-term spectrum. The benchmark contains an extensive evaluation of the largest number of long-term tackers and comparison to state-of-the-art short-term trackers. We analyze the influence of tracking architecture implementations to long-term performance and explore various re-detection strategies as well as influence of visual model update strategies to long-term tracking drift. The methodology is integrated in the VOT toolkit to automate experimental analysis and benchmarking and to facilitate future development of long-term trackers.

연구 동기 및 목표

• 장기 시각적 객체 추적을 위한 표준화된 평가 프로토콜의 부족을 해결함으로써 추적기 개발을 촉진하는 것.
• 기존 단기 추적 벤치마크의 한계를 극복하여 장기 시퀀스에서 재검출 능력과 드리프트 내성성을 평가하지 못하는 문제를 해결하는 것.
• 장기 추적 시나리오에서 정위치 및 검출 정확도를 정확히 반영할 수 있는 성능 측정치를 개발하는 것.
• 목표물이 자주 사라지는 시퀀스와 풍부한 속성 애너테이션을 포함한 새로운 벤치마크 데이터셋을 제작하여 장기 추적 능력을 시험하는 것.
• 평가 방법론을 VOT 툴킷에 통합하여 향후 장기 추적기 개발을 위한 자동화, 재현 가능하고 확장 가능한 벤치마크를 제공하는 것.

제안 방법

• 장기 추적에 특화된 새로운 성능 측정치인 추적 정밀도, 재현율, F-스코어를 제안하며, 단기 지표를 일반화하고 검출 신뢰도 및 목표물 부재 보고 기능을 통합한다.
• 희박한 애너테이션(예: 매 50帧 또는 매 200帧)을 지원하는 평가 프로토콜을 설계하여 신뢰성 손실 없이, 동일한 수작업 노력으로 최대 200배 긴 시퀀스를 애너테이션할 수 있도록 한다.
• 50개의 철저히 선별된 장시간 시퀀스로 구성된 새로운 벤치마크 데이터셋(LTB50)을 구축하며, 각 시퀀스는 다수의 목표물 부재를 포함하고 9개의 시각적 속성으로 애너테이션된다.
• 단기/장기 추적을 분류하는 새로운 분류 체계를 도입하여, 재검출 및 모델 업데이트 전략에 따라 추적기를 스펙트럼 기반으로 분류한다.
• 모든 평가 구성 요소(측정치 및 프로토콜)를 VOT 툴킷에 구현 및 통합하여 자동화된 벤치마크와 재현 가능성을 확보한다.
• 추적기 아키텍처, 재검출 전략, 모델 업데이트 메커니즘(예: 하드-negative 마이닝, 보수적인 업데이트)에 대한 광범위한 분석 실험을 수행하여 장기 드리프트 및 성능에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 목표물 부재가 존재하는 상황에서도 정위치 정확도와 검출 능력을 더 잘 반영할 수 있는 장기 추적 성능 측정치는 어떻게 설계할 수 있는가?
• RQ2 제안된 성능 측정치는 얼마나 희박한 시간적 애너테이션에 강건한가? 그리고 애너테이션 비용 증가 없이 초장기 추적 시퀀스를 구축하는 데 활용될 수 있는가?
• RQ3 고성능 장기 추적기와 저성능 추적기 사이의 주요 아키텍처적 및 전략 수준의 차이는 무엇인가?
• RQ4 재검출 전략과 시각적 모델 업데이트 메커니즘이 장기 추적 드리프트와 총합 성능에 어떤 영향을 미치는가?
• RQ5 최신 단기 추적기들은 얼마나 잘 장기 추적에 적합하게 변형될 수 있으며, 그 성능 상충 관계는 무엇인가?

주요 결과

• 제안된 추적 F-스코어 측정치는 단기 지표를 일반화하며, 기존 측정치에 비해 더 뛰어난 해석 가능성과 추적 행동 간의 구분 능력을 제공한다.
• 평가 방법론은 애너테이션 희박성에 매우 강건하여, 매 50帧만 애너테이션된 경우에도 신뢰성 있는 성능 분석이 가능하며, 매 200帧 애너테이션일 경우에도 일관된 순위를 유지한다.
• 최고 성능을 보인 장기 추적기인 FCLT [38]는 단기 추적 및 검출 모두에 분류 기반 상관 필터를 사용하며, 다중 척도 모델 업데이트와 신뢰도 기반의 부재 예측을 통합한다.
• 놀랍게도 최신 단기 추적기인 MDNet [28]가 장기 추적에서 두 번째로 높은 성능을 기록하여, 보수적인 특징 업데이트와 하드-negative 마이닝의 가치를 입증한다.
• 완전한 가림과 视野 외부 부재가 가장 도전적인 속성으로 나타나며, 이어 유사한 물체와 시점 변화가 다음으로 어려운 실패 원인으로 나타나, 현재 장기 추적기의 주요 실패 모드를 규명한다.
• CNN 기반 검출기는 외관 변화 하에서도 강건한 정위치를 보이며 다른 방법보다 뛰어난 성능을 보이지만, 외관적으로 유사한 간섭 요소가 존재할 경우 실패할 수 있다. 분류 기반 상관 필터는 속도와 강건성 덕분에 매우 유망한 성능을 보이며, 특히 철저한 훈련이 이루어진 경우에 뚜렷한 성과를 보인다.