[논문 리뷰] MOTChallenge 2015: Towards a Benchmark for Multi-Target Tracking

Laura Leal-Taixé, Anton Milan외 3명|arXiv (Cornell University)|2015. 04. 08.

Video Surveillance and Tracking Methods인용 수 486

한 줄 요약

MOTChallenge 2015는 다양한 영상 시퀀스, 표준화된 평가 지표, 중앙집중식 제출 및 순위 매기기 시스템을 통합하여 다중 타겟 추적을 위한 통합 벤치마크를 도입한다. 이는 이전 벤치마크에서 발생하던 일관성 문제를 해결하여 공유된 데이터셋, 검출 입력, 평가 스크립트를 사용함으로써 메서드 간 공정하고 재현 가능한 비교를 가능하게 하며, MOTA를 주요 성능 지표로, 실시간 속도를 핵심 효율성 측정 기준으로 삼는다.

ABSTRACT

In the recent past, the computer vision community has developed centralized benchmarks for the performance evaluation of a variety of tasks, including generic object and pedestrian detection, 3D reconstruction, optical flow, single-object short-term tracking, and stereo estimation. Despite potential pitfalls of such benchmarks, they have proved to be extremely helpful to advance the state of the art in the respective area. Interestingly, there has been rather limited work on the standardization of quantitative benchmarks for multiple target tracking. One of the few exceptions is the well-known PETS dataset, targeted primarily at surveillance applications. Despite being widely used, it is often applied inconsistently, for example involving using different subsets of the available data, different ways of training the models, or differing evaluation scripts. This paper describes our work toward a novel multiple object tracking benchmark aimed to address such issues. We discuss the challenges of creating such a framework, collecting existing and new data, gathering state-of-the-art methods to be tested on the datasets, and finally creating a unified evaluation system. With MOTChallenge we aim to pave the way toward a unified evaluation framework for a more meaningful quantification of multi-target tracking.

연구 동기 및 목표

• 다중 타겟 추적을 위한 표준화되고 대규모인 벤치마크의 부재로 인해 공정하고 일관된 성능 평가가 어렵다는 문제를 해결하기 위해.
• 이전 연구에서 흔히 발생하던 데이터 사용 방식, 검출 입력, 모델 훈련, 평가 스크립트의 이질성 문제를 통합하여 해결하기 위해, 예를 들어 PETS 데이터셋을 통해 나타나는 문제들을 포함하여.
• 새로운 추적 방법, 데이터셋, 애너테이션, 평가 지표를 기여하고 업데이트할 수 있는 중앙집중식이고 확장 가능한 플랫폼을 구축하여 지속적인 발전을 지원하기 위해.
• 다양한 시점, 조명 조건, 인파의 밀도를 포함한 다양한 영상 시퀀스를 포함시켜 데이터셋 편향을 줄이고 일반화 능력과 견고성을 테스트하기 위해.
• PASCAL VOC 및 ImageNet과 같은 성공 모델처럼 매년 도전 대회와 워크숍을 개최하여 최신 기술 발전을 지속적으로 추적하기 위해.

제안 방법

• 벤치마크는 총 22개의 영상 시퀀스를 통합하며, 훈련용 11개, 테스트용 11개로 구성되며, 총 996초의 영상, 11,286帧을 포함하고 있으며, 이 중 4개는 3D 추적을 위해 校정되어 있다.
• 사전 계산된 객체 검출 결과, 표준화된 진짜 애너테이션, 중앙집중식 평가 서버를 제공하여 제출 결과의 일관성을 보장한다.
• 평가 프레임워크는 주요 지표로 MOTA(Multiple Object Tracking Accuracy)를 사용하며, 공식은 1 - (FP + FN + ID switch) / GT로, 값은 -∞에서 100%까지 변동한다.
• 추가 지표로는 MOTP(Multiple Object Tracking Precision), MT/PT/ML(주로 추적됨/부분적으로 추적됨/주로 실종됨) 비율, 분할 횟수(FM), FPS 기반 런타임이 포함된다.
• 시스템은 연중 제출과 연간 도전 대회 제출을 모두 지원하며, 10개의 성능 지표에 따라 순위를 매기고 평균을 내어 종합 비교를 가능하게 한다.
• 플랫폼은 확장 가능하여 매년 새로운 데이터, 애너테이션, 평가 방법을 기여하고 업데이트할 수 있다.

실험 결과

연구 질문

• RQ1 다중 타겟 추적을 위한 통합적이고 표준화된 벤치마크는 어떻게 설계할 수 있는가? 이는 데이터 사용, 검출 입력, 평가 스크립트의 이질성 문제를 해결하기 위한 것이다.
• RQ2 최신 추적 방법들은 다양한 실세계 시퀀스(다양한 카메라 각도, 조명 조건, 인파의 밀도 포함)에서 얼마나 잘 일반화되는가?
• RQ3 일관된 지표와 공개된 결과를 갖춘 중앙집중식 평가 시스템은 다중 타겟 추적 연구의 재현 가능성과 공정성 향상에 얼마나 기여하는가?
• RQ4 다양한 추적 방법들은 정확도(MOTA), 정위치 정밀도(MOTP), 계산 효율성(FPS) 사이에서 어떻게 균형을 이루는가?
• RQ5 매년 개최되는 도전 대회와 커뮤니티 기반 기여는 장기적으로 벤치마크의 유지 및 발전에 어떤 역할을 하는가?

주요 결과

• 표준화된 데이터셋, 검출 입력, 평가 스크립트를 통해 이전 연구에서 관찰된 이질성 문제를 줄여 공정하고 일관된 평가 프레임워크를 달성하였다.
• 검토된 메서드들 간 MOTA 점수는 12%에서 24% 사이로 변동하였으며, 최고 성능을 낸 추적기는 24% MOTA를 기록하여 향후 개선 여지가 크다는 점을 시사한다.
• MOTP 값은 낮은 변동성을 보였음(69.6%에서 71.6% 사이), 이는 정위치 성능이 주로 검출 품질과 애너테이션 일관성에 의해 영향을 받음을 의미한다.
• 가장 빠른 방법인 DP_NMS는 실시간 성능(25+ FPS)을 달성했지만 MOTA가 가장 낮아(12%), 속도와 정확도 사이의 상충 관계를 잘 보여준다.
• 모든 지표의 평균 순위는 MOTA 순위와 밀접한 상관관계를 보였으며, 이는 MOTA가 종합적인 추적기 성능에 대한 강력한 대체 지표임을 시사한다.
• 플랫폼은 WACV 2015에서 첫 번째 연간 워크숍을 성공적으로 개최하여 지속 가능한 평가 인프라로서의 타당성을 입증하였다.