[논문 리뷰] LaSOT: A High-quality Benchmark for Large-scale Single Object Tracking

Heng Fan, Liting Lin외 8명|arXiv (Cornell University)|2018. 09. 20.

Video Surveillance and Tracking Methods참고 문헌 54인용 수 22

한 줄 요약

이 논문은 1,400개의 영상 시퀀스와 350만 개 이상의 고밀도로 애너테이션된 프레임을 포함하는 장기 단일 객체 추적을 위한 대규모 고품질 벤치마크인 LaSOT을 소개한다. 이는 딥 추적 모델의 강건한 훈련과 평가를 가능하게 하며, MDNet과 VITAL과 같은 최신 기법들이 각각 정밀도 점수 0.373과 0.360을 기록한 바에도 불구하고 여전히 향상의 여지가 크다는 결과를 보여준다.

ABSTRACT

In this paper, we present LaSOT, a high-quality benchmark for Large-scale Single Object Tracking. LaSOT consists of 1,400 sequences with more than 3.5M frames in total. Each frame in these sequences is carefully and manually annotated with a bounding box, making LaSOT the largest, to the best of our knowledge, densely annotated tracking benchmark. The average video length of LaSOT is more than 2,500 frames, and each sequence comprises various challenges deriving from the wild where target objects may disappear and re-appear again in the view. By releasing LaSOT, we expect to provide the community with a large-scale dedicated benchmark with high quality for both the training of deep trackers and the veritable evaluation of tracking algorithms. Moreover, considering the close connections of visual appearance and natural language, we enrich LaSOT by providing additional language specification, aiming at encouraging the exploration of natural linguistic feature for tracking. A thorough experimental evaluation of 35 tracking algorithms on LaSOT is presented with detailed analysis, and the results demonstrate that there is still a big room for improvements.

연구 동기 및 목표

• 장기 시각 트래킹을 위한 훈련 및 평가에 적합한 대규모 고품질 데이터셋의 부족 문제를 해결하기 위해.
• 기존 벤치마크의 한계인 짧은 시퀀스 길이, 희박한 애너테이션, 클래스 불균형 문제를 극복하기 위해.
• 실제 세계 시나리오에서 트래커 평가의 신뢰성과 현실성 향상을 위해 표준화된 대규모 벤치마크를 제공하기 위해.
• 각 시퀀스에 언어 애너테이션을 포함시켜 시각적 추적과 언어적 특징의 통합을 장려하기 위해.
• 딥 러닝 기반 트래커의 개발을 지원하기 위해 전용 대규모 훈련 및 테스트 플랫폼을 제공하기 위해.

제안 방법

• 평균 길이가 2,506 프레임인 총 1,400개의 영상 시퀀스를 선별하여 총 350만 개 이상의 프레임을 수동으로 정확한 바운딩 박스로 애너테이션했다.
• 목표가 자주 사라졌다가 재등장하는 시퀀스를 포함시켜 장기 추적에 중점을 두도록 벤치마크를 설계했다.
• 다중모달(시각적 및 언어적) 특징 학습을 위한 추적 연구를 가능하게 하기 위해 각 시퀀스에 언어 애너테이션을 도입했다.
• 모델 훈련과 편향 없는 평가를 지원하기 위해 두 가지 프로토콜에 따라 데이터셋을 훈련 및 테스트 세트로 분할했다.
• 정밀도, 정규화된 정밀도, 성공률 등의 표준 지표를 사용하여 35개의 최신 추적 알고리즘을 벤치마크에서 평가했다.
• LaSOT 훈련 세트를 사용해 SiamFC와 MDNet의 재학습 실험을 수행하여 대규모 작업 특화 데이터에서의 성능 향상을 입증했다.

실험 결과

연구 질문

• RQ1 대규모 고밀도 애너테이션을 갖춘 벤치마크는 장기 추적 시나리오에서 딥 시각 트래커의 훈련 및 평가를 향상시킬 수 있는가?
• RQ2 장애물과 외관 변화가 빈번한 어려운 시퀀스에서 시각적 특징과 언어적 특징이 함께 기여할 경우 추적의 강건성은 얼마나 향상되는가?
• RQ3 기존의 벤치마크와 비교해 장기 추적에 중점을 두고 고품질 애너테이션을 제공하는 이 벤치마크에서 기존 추적 알고리즘의 성능은 어떻게 평가되는가?
• RQ4 LaSOT에서 재학습한 딥 트래커는 ImageNet 또는 기타 일반 데이터셋에서 사전 학습된 모델에 비해 측정 가능한 성능 향상을 보일 수 있는가?
• RQ5 다양한 시각적 및 언어적 과제를 포함한 현실적인 장기 벤치마크에서 현재 트래커의 주요 실패 원인은 무엇인가?

주요 결과

• LaSOT는 고밀도 고품질 애너테이션을 갖춘 가장 큰 알려진 벤치마크로, 1,400개의 시퀀스와 350만 개 이상의 프레임을 포함한다.
• MDNet과 VITAL은 프로토콜 I 하에서 각각 정밀도 점수 0.373과 0.360을 기록하여 최고의 성능를 보였다.
• SiamFC는 정밀도 점수 0.339와 성공률 0.336을 기록하여 정확성과 실시간 효율성 사이의 균형을 잘 유지하고 있음을 보여주었다.
• SiamFC를 LaSOT에서 재학습한 결과, OTB-2013과 OTB-2015에서 일관된 성능 향상을 보였으며, 정밀도는 1.3% 향상되고 성공률는 2.0% 향상되었다.
• 평가 결과는 현재 트래커의 성능와 벤치마크 잠재력 사이에 큰 격차가 있음을 시사하며, 향상의 여지가 크다는 것을 보여준다.
• 언어 애너테이션의 통합은 다중모달 추적 연구의 새로운 길을 열었지만, 그 통합은 아직 해결되지 않은 과제로 남아 있다.