[논문 리뷰] CVPR19 Tracking and Detection Challenge: How crowded can it get?

Patrick Dendorfer, Hamid Rezatofighi외 7명|arXiv (Cornell University)|2019. 06. 10.

Video Surveillance and Tracking Methods참고 문헌 16인용 수 68

한 줄 요약

이 논문은 매우 혼잡한 시퀀스 8개를 포함한 CVPR19 MOTChallenge 벤치마크를 소개하여 극도로 밀집한 장면에서 다중 객체 추적 및 탐지를 테스트하고, 데이터, 주석, 탐지, 표준화된 평가 프로토콜을 제공한다.

ABSTRACT

Standardized benchmarks are crucial for the majority of computer vision applications. Although leaderboards and ranking tables should not be over-claimed, benchmarks often provide the most objective measure of performance and are therefore important guides for research. The benchmark for Multiple Object Tracking, MOTChallenge, was launched with the goal to establish a standardized evaluation of multiple object tracking methods. The challenge focuses on multiple people tracking, since pedestrians are well studied in the tracking community, and precise tracking and detection has high practical relevance. Since the first release, MOT15, MOT16 and MOT17 have tremendously contributed to the community by introducing a clean dataset and precise framework to benchmark multi-object trackers. In this paper, we present our CVPR19 benchmark, consisting of 8 new sequences depicting very crowded challenging scenes. The benchmark will be presented at the 4th BMTT MOT Challenge Workshop at the Computer Vision and Pattern Recognition Conference (CVPR) 2019, and will evaluate the state-of-the-art in multiple object tracking whend handling extremely crowded scenarios.

연구 동기 및 목표

• 극도로 혼잡한 장면으로 MOTChallenge를 확장하여 트래커와 탐지를 압박 테스트한다.
• 신중하게 주석이 달린 데이터, 공개 탐지, 그리고 통합 평가 프레임워크를 제공한다.
• 제약 없는 환경에서 추적 방법의 강건성 및 일반화를 평가한다.

제안 방법

• 실내/실외, 주간/야간 변화를 가진 세 장면에 걸쳐 여덟 개의 CVPR19 시퀀스를 제시한다.
• 일관성을 보장하기 위해 MOT16 프로토콜에 따라 움직이는 보행자 및 관련 클래스에 주석을 단다.
• 추적 기준선으로 CVPR19 학습 데이터로 학습된 공개 Faster R-CNN 탐지를 제공합니다.
• 시간 할당을 위해 Hungarian 알고리즘으로 수행하고 CLEAR 지표와 Wu & Nevatia의 트랙 품질 지표를 사용하여 평가를 정의한다.
• 보행자에 초점을 맞추기 위해 최종 추적 평가에서 비대상 클래스(예: 정지한 사람, 차량 등)를 제외한다.
• 프레임 수준 ID와 바운딩 박스를 포함한 탐지 및 실제 값에 대한 데이터 형식 사양(CSV)을 제공한다.

실험 결과

연구 질문

• RQ1 프레임당 최대 246명의 보행자가 있는 극도로 혼잡한 장면에서 최신 추적기는 어떻게 동작하는가?
• RQ2 CVPR19 데이터로 학습된 탐지는 CVPR19 테스트 세트 내의 보지 않은 장면에 일반화되는가?
• RQ3 가림, 방해 요소, 고밀도 시나리오에 대한 추적 방법의 강건성은 어느 정도인가?
• RQ4 공개 탐지를 사용하는 것과 비공개 탐지를 사용하는 것이 트래커 평가에 미치는 영향은 무엇인가?

주요 결과

• CVPR19 벤치마크는 프레임당 최대 246명의 보행자 밀도로 구성된 여덟 개의 새로운 시퀀스를 포함한다.
• 학습 및 테스트 데이터는 각각 2,390개와 1,492개의 주석 트랙을 포함하며 총 225만 개가 넘는 주석을 포함한다.
• 공개 Faster R-CNN 탐지는 트레이닝/테스트 트래커의 기준선으로 제공된다(총 탐지 수: 981,031).
• 평가는 CLEAR 지표(MOTA, MOTP)와 트랙 품질 지표(MT/PT/ML, FM)를 사용하여 시퀀스 전반에서 트래커 성능을 평가한다.
• 데이터셋은 실내/실외와 주간/야간 조건의 세 장면에서 시퀀스를 포함하고 있으며 일반화를 평가하기 위한 알려진 테스트 장면과 미지의 테스트 장면도 있다.
• 탐지는 보행자에 초점을 하며 정지된 사람 및 기타 클래스는 최종 성능에 포함되지 않지만 가림 분석을 위해 주석으로 표기된다.