[논문 리뷰] Tracking for Half an Hour

Ran Tao, Efstratios Gavves외 1명|arXiv (Cornell University)|2017. 11. 28.

Video Surveillance and Tracking Methods참고 문헌 20인용 수 13

한 줄 요약

이 논문은 장기적인 비디오 시퀀스(예: 30분 분량의 감시 영상 또는 스포츠 영상)에서 정확도를 유지할 수 있도록 전역 및 국소 검색 전략을 조합하고, 모델 업데이트를 신중하게 수행할 수 있도록 자가 품질 평가 모듈을 도입한 장기 시각 추적기를 제안한다. 이 추적기는 UAV20L 및 YouTubeLong과 같은 장기 기준 평가 데이터셋에서 최신 기술(SOTA)을 초월하며, 짧은 기간 추적기와 달리 반복 루프 동안도 안정성을 유지한다.

ABSTRACT

Long-term tracking requires extreme stability to the multitude of model updates and robustness to the disappearance and loss of the target as such will inevitably happen. For motivation, we have taken 10 randomly selected OTB-sequences, doubled each by attaching a reversed version and repeated each double sequence 20 times. On most of these repetitive videos, the best current tracker performs worse on each loop. This illustrates the difference between optimization for short-term versus long-term tracking. In a long-term tracker a combined global and local search strategy is beneficial, allowing for recovery from failures and disappearance. Most importantly, the proposed tracker also employs cautious updating, guided by self-quality assessment. The proposed tracker is still among the best on the 20-sec OTB-videos while achieving state-of-the-art on the 100-sec UAV20L benchmark. On 10 new half-an-hour videos with city bicycling, sport games etc, the proposed tracker outperforms others by a large margin where the 2010 TLD tracker comes second.

연구 동기 및 목표

• 짧은 기간 추적 평가 기준(예: OTB, VOT)이 장기 추적기의 안정성과 내구성 평가에 한계를 가진다는 문제를 해결하기 위해.
• 장기적인 비디오 시퀀스에서 모델 드리프트와 샘플링 드리프트가 누적되어 추적기가 열악해지는 방식을 조사하기 위해.
• 목표물의 사라짐과 재등장이 있는 장기간의 시퀀스나 반복 루프에서도 성능을 유지할 수 있는 추적기를 개발하기 위해.
• 모델 드리프트를 방지하기 위해 모델 업데이트를 신중하게 이끄는 자가 평가 메커니즘을 도입하기 위해.

제안 방법

• 추적 실패나 목표물의 사라짐 복구를 위해 전역 검색과 국소 검색을 조합한 하이브리드 검색 전략을 적용한다.
• 예측 신뢰도를 평가하여 모델 업데이트를 수행할지 여부를 결정하기 위해 자가 품질 평가 모듈을 도입한다.
• 자기 평가 모듈의 출력에 기반해 신중한 모델 업데이트를 수행함으로써 점진적인 모델 드리프트 위험을 감소시킨다.
• 이중 루프 실험 설정을 사용한다: 10개의 OTB 시퀀스를 뒤집어 20번 반복하여 장기 추적을 시뮬레이션한다.
• 성능 평가를 위해 표준 짧은 기간 기준 평가 데이터셋(OTB100)과 장기 기준 평가 데이터셋(UAV20L, YouTubeLong)을 모두 활용하여 성능 트레이드오프를 분석한다.
• 모든 평가 데이터셋에서 성능 비교를 위해 AUC를 주요 지표로 사용한다.

실험 결과

연구 질문

• RQ1 최신 기술의 짧은 기간 추적기는 반복 루프가 있는 장기 비디오 시퀀스에서 어떻게 성능이 열악해지는가?
• RQ2 목표물의 사라짐, 재등장, 영상 컷이 있는 30분 분량의 비디오에서 추적기는 얼마나 정확도를 유지할 수 있는가?
• RQ3 자기 평가 메커니즘이 장기적인 모델 드리프트를 방지하기 위해 모델 업데이트를 효과적으로 이끌 수 있는가?
• RQ4 전체적으로 국소 검색만을 사용하는 것과 비교해 전역-국소 검색 전략이 실패 복구 능력과 장기적 안정성에 어떻게 기여하는가?

주요 결과

• 제안된 추적기는 반복되는 비디오 20라운드 동안 성능을 유지하거나 향상시키지만, 상위 성능를 보였던 짧은 기간 추적기인 ECO는 일관되게 성능 저하를 보였다.
• 100초 분량의 UAV20L 기준 평가에서 제안된 추적기는 모든 다른 추적기들을 능가하는 최신 기술 수준의 성능을 달성했다.
• 도시 자전거 및 스포츠 경기 영상 10개의 반시간 분량의 새로운 비디오에서 제안된 추적기는 모든 다른 추적기들을 크게 앞서며 뛰어난 성능를 보였다. TLD [13]가 2위를 차지했다.
• 장기적인 목표물 부재를 포함한 YouTubeLong에서, 목표물을 끝까지 추적한 것은 제안된 추적기와 TLD뿐이었으며, 제안된 추적기가 큰 격차로 앞서 있었다.
• 짧은 기간 평가 기준인 OTB100에서 제안된 추적기는 AUC 59.8%를 기록했으며, ECO(69.1)와 MDNet(67.8)와 같은 최신 기술의 짧은 기간 추적기들과 비교해도 유사한 성능를 보였다. 이는 장기 추적 최적화를 위해 설계되었음에도 불구하고 성능이 떨어지지 않았음을 의미한다.
• 모델 업데이트를 하지 않는 보수적인 버전의 추적기 역시 무한히 긴 또는 반복적인 비디오에서 안정적이고 효과적으로 기능하며, 성능 저하 없이도 강건함을 입증했다.