[논문 리뷰] MOT16: A Benchmark for Multi-Object Tracking

Anton Milan, Laura Leal-Taixé외 3명|arXiv (Cornell University)|2016. 03. 02.

Video Surveillance and Tracking Methods참고 문헌 47인용 수 1,389

한 줄 요약

MOT16은 14개 시퀀스로 구성된 refined MOTChallenge 벤치마크를 도입하며, 제로부터 만든 주석, 더 풍부한 객체 클래스, 그리고 다중대상 추적 방법을 공정하게 비교하기 위한 표준화된 평가를 제공합니다.

ABSTRACT

Standardized benchmarks are crucial for the majority of computer vision applications. Although leaderboards and ranking tables should not be over-claimed, benchmarks often provide the most objective measure of performance and are therefore important guides for reseach. Recently, a new benchmark for Multiple Object Tracking, MOTChallenge, was launched with the goal of collecting existing and new data and creating a framework for the standardized evaluation of multiple object tracking methods. The first release of the benchmark focuses on multiple people tracking, since pedestrians are by far the most studied object in the tracking community. This paper accompanies a new release of the MOTChallenge benchmark. Unlike the initial release, all videos of MOT16 have been carefully annotated following a consistent protocol. Moreover, it not only offers a significant increase in the number of labeled boxes, but also provides multiple object classes beside pedestrians and the level of visibility for every single object of interest.

연구 동기 및 목표

• 다중 타깃 추적 방법의 공정한 평가를 위한 MOT16 벤치마크를 제시합니다.
• 높은 정확도의 ground truth를 만들기 위한 엄격한 주석 프로토콜을 자세히 설명합니다.
• 풍부한 데이터셋에서 최첨단 다중 타깃 추적 방법의 강점과 약점을 강조합니다.

제안 방법

• 훈련용과 테스트용이 절반씩인 14개 MOT16 시퀀스를 소개합니다.
• 엄격한 프로토콜에 따라 처음부터 모든 시퀀스를 주석 처리합니다; 보행자, 차량, 그리고 가림 요소를 포함하고 가려짐을 인지한 ground truth를 포함합니다.
• CLEAR 지표와 Wu & Nevatia 트랙-퀄리티 지표를 사용하여 중앙집중된 평가 프레임워크를 제공합니다.
• 공정한 비교와 입력에 대한 투명성을 위해 고정된 공유 탐지 세트를 사용합니다(특히 DPM).
• 데이터 형식 설명: 시퀀스당 DETECTIONS와 Ground Truth를 위한 정의된 9필드 스키마의 CSV로 구성됩니다.
• 산만요소, 반사, 유사한 클래스들을 다루는 주석 프로토콜을 상세히 설명하여 불공정한 페널티를 피합니다.

실험 결과

연구 질문

• RQ1 MOT16 벤치마크는 MOT15에 비해 다중 객체 추적 방법의 공정성과 비교 가능성을 어떻게 향상시키나요?
• RQ2 어떤 주석 규칙과 데이터 형식이 시퀀스 간 일관된 ground truth를 가능하게 하나요?
• RQ3 표준화된 지표(CLEAR, Wu & Nevatia) 하에서 더 도전적이고 다양한 데이터셋에서 최첨단 트래커는 어떻게 성능을 보이나요?

주요 결과

• MOT16은 더 혼잡한 시나리오, 서로 다른 시점, 날씨 조건을 가진 14개의 시퀀스를 제공하여 MOT15에 비해 난이도를 높입니다.
• 주석은 자격을 갖춘 연구원들이 처음부터 엄격한 프로토콜을 따라 수행하고 정확성을 위해 이중 확인합니다.
• 최첨단 탐지기로부터의 탐지는 이 벤치마크에서 더 높은 재현율을 제공하는 DPM v5 탐지를 보여주어 트래커 평가에 영향을 줍니다.
• 벤치마크는 정확한 평가를 가능하게 하는 자세한 ground-truth 통계와 경계 조건(가림, 잘림)을 보고합니다.
• 표준화된 ground truth 및 평가 스크립트는 동일한 조건에서 트래킹 방법을 공정하게 비교할 수 있도록 합니다.