[논문 리뷰] Long-term Tracking in the Wild: A Benchmark

Jack Valmadre, Luca Bertinetto외 6명|arXiv (Cornell University)|2018. 03. 26.

Video Surveillance and Tracking Methods참고 문헌 6인용 수 21

한 줄 요약

이 논문은 366개의 시퀀스로 구성된 대규모 장기 추적 데이터셋인 OxUvA 벤치마크를 소개한다. 총 14시간의 영상으로, 목표물이 자주 사라지는 상황을 포함한다. 추적기의 정밀도와 존재/부재 탐지 능력을 동시에 평가하며, 대부분의 단기 추적기들이 모델 드리프트로 인해 장기 시퀀스에서 실패하는 것을 드러내며, SINT 및 MDNet과 같은 방법은 장기 추적과 가림을 견디는 데 더 뛰어난 내성성을 보인다.

ABSTRACT

We introduce the OxUvA dataset and benchmark for evaluating single-object tracking algorithms. Benchmarks have enabled great strides in the field of object tracking by defining standardized evaluations on large sets of diverse videos. However, these works have focused exclusively on sequences that are just tens of seconds in length and in which the target is always visible. Consequently, most researchers have designed methods tailored to this "short-term" scenario, which is poorly representative of practitioners' needs. Aiming to address this disparity, we compile a long-term, large-scale tracking dataset of sequences with average length greater than two minutes and with frequent target object disappearance. The OxUvA dataset is much larger than the object tracking datasets of recent years: it comprises 366 sequences spanning 14 hours of video. We assess the performance of several algorithms, considering both the ability to locate the target and to determine whether it is present or absent. Our goal is to offer the community a large and diverse benchmark to enable the design and evaluation of tracking methods ready to be used "in the wild". The project website is http://oxuva.net

연구 동기 및 목표

• 기존 추적 벤치마크가 항상 시야에 있는 목표물에 초점을 맞춘 단기 추적에 치중되어 있는 점을 감안해, 실제 응용 사례를 반영하는 장기 추적 벤치마크를 마련함으로써 격차를 메우기 위해.
• 장기 시퀀스(평균 2.4분), 빈번한 목표물 사라짐을 포함한 대규모 데이터셋(14시간, 150만 프레임)을 개발하여 실질적인 추적 시나리오를 더 잘 반영하기 위해.
• 기존의 IoU 기반 메트릭을 넘어서, 정위치 정확도와 목표물 존재/부재 탐지 능력을 모두 측정하는 새로운 평가 프로토콜을 설계하기 위해.
• 이진 속성 대신 연속형 속성(예: 속도, 척도, 방해 요소 수 등)을 도입하여 다양한 조건에서 추적기 성능 분석의 세밀함을 향상시키기 위해.
• 데이터를 개발 및 테스트 세트로 분할하고, 테스트 레이블을 레이트 제한된 서버를 통해만 접근 가능하게 하여 과적합 방지를 유도함으로써 일반화를 촉진하기 위해.

제안 방법

• 낮은 조회수를 가진 유튜브 영상에서 데이터를 수집하여 편집되지 않은 실세계 콘텐츠의 지표로 삼고, 목표물 사라짐 비율이 높은 시퀀스에 집중한다.
• 1Hz 속도로 바운딩 박스를 주석 처리하며, 레이블 밀도보다 커버리지 우선 원칙을 적용하여 14시간 분량의 영상에서의 확장성을 확보한다.
• 진짜 양성률(TPR)과 진짜 음성률(TNR)을 조합한 새로운 평가 메트릭을 도입하여 정위치 및 존재/부재 탐지 성능을 동시에 평가한다.
• 프레임 또는 영상 단위로 계산된 연속형 속성(상대적 속도, 척도 변화, 방해 요소 수, 객체 크기, 가림 정도, 시퀀스 길이 등)을 히스토그램으로 분할하여 성능 분석을 수행한다.
• 테스트 세트는 레이트 제한된 평가 서버를 통해 숨겨져 있어, 벤치마크에 대한 하이퍼파라미터 과적합을 방지한다.
• SiamFC+, MDNet, ECO-HC, TLD 등 최신 추적기들을 테스트 세트에 적용하여 장기 내성성과 실패 유형을 평가한다.

실험 결과

연구 질문

• RQ1 목표물 사라짐 빈도가 높은 장기 시퀀스(평균 2.4분)에서 기존 추적 알고리즘이 어떻게 성능을 내는가?
• RQ2 장기 추적 기간 동안 추적기가 정확도와 존재 탐지 능력을 얼마나 유지하는가?
• RQ3 속도, 척도 변화, 방해 요소 수, 가림 정도 등의 요소 중 어떤 것이 장기 추적 상황에서 추적기 성능을 가장 심각하게 떨어뜨리는가?
• RQ4 이진 속성 대신 연속형 속성을 사용할 경우, 성능 분석의 해석 가능성과 세밀함이 어떻게 향상되는가?
• RQ5 밀도 높은 인간 주석이 필요 없이도, 대규모이자 희박하게 주석 처리된 데이터셋(1Hz)이 신뢰할 수 있는 평가를 제공할 수 있는가?

주요 결과

• 모든 추적기가 목표물 부재 비율이 10%를 초과할 경우 심각한 성능 저하를 겪으며, 이는 장기 추적에서의 핵심 과제임을 시사한다.
• 국소 검색에 의존하는 추적기들(예: SiamFC+, ECO-HC)은 목표물 속도 증가에 따라 빠르게 성능이 떨어지지만, TLD는 고속 운동에 가장 뛰어난 내성성을 보인다.
• 6배의 척도 변화에서 성능이 급격히 떨어지며, 이는 극단적 척도 변화를 다루는 데에 심각한 성능 격차가 있음을 시사한다. 특히 6배 체계에 포함된 영상 비율이 상당히 높다.
• EBT 및 LCT는 같은 종류의 두 개의 방해 요소에 크게 영향을 받는 것으로 나타나, 전체 영상 검색 중 혼동이 발생할 수 있음을 시사한다. 반면 다른 방법들은 이에 비해 내성성이 뛰어나다.
• SINT 및 MDNet은 대부분의 추적기들(예: MDNet, ECO-HC)이 몇 분 후에 급격히 성능이 떨어지는 것과는 달리, 3분 이상 장기적으로 안정된 성능을 유지한다.
• 객체 크기가 영상 영역의 0.2일 때 성능이 최고에 이르며, MDNet과 LCT는 더 큰 크기에서도 성능 유지 능력을 보이며, 이는 더 나은 확장성의 증거이다.