[논문 리뷰] Performance Measures and a Data Set for Multi-Target, Multi-Camera Tracking

Ergys Ristani, Francesco Solera외 3명|arXiv (Cornell University)|2016. 09. 06.

Video Surveillance and Tracking Methods참고 문헌 47인용 수 202

한 줄 요약

이 논문은 신원 기반 MTMC 성능 지표를 제안하고, 큰 DukeMTMC 데이터 세트를 도입하며, 엔드 투 엔드 성능 벤치마크용 참조 MTMC 트래커를 제공합니다.

ABSTRACT

To help accelerate progress in multi-target, multi-camera tracking systems, we present (i) a new pair of precision-recall measures of performance that treats errors of all types uniformly and emphasizes correct identification over sources of error; (ii) the largest fully-annotated and calibrated data set to date with more than 2 million frames of 1080p, 60fps video taken by 8 cameras observing more than 2,700 identities over 85 minutes; and (iii) a reference software system as a comparison baseline. We show that (i) our measures properly account for bottom-line identity match performance in the multi-camera setting; (ii) our data set poses realistic challenges to current trackers; and (iii) the performance of our system is comparable to the state of the art.

연구 동기 및 목표

• 신원 중심 성능 지표를 제안하여 계산된 신원이 실제 신원과 카메라 간 및 카메라 내에서 얼마나 잘 일치하는지 평가한다.
• 현실적인 실외 조건에서 MTMC 트래커를 스트레스 테스트하기 위한 대규모의 완전 주석이 달린 다중 카메라 데이터 세트를 제공한다.
• 새로운 지표와 데이터 세트를 사용한 엔드-투-엔드 평가를 위한 참조 MTMC 트래커 및 기준을 제공한다.
• 전통적인 이벤트 기반 지표의 한계를 보여주고 신원 대 결과 매칭의 필요성을 동기화한다.

제안 방법

• 신원 정밀도(ID precision), 신원 재현(ID recall), 그리고 IDF1을 프레임 수준 오배치를 최소화하는 진실-결과 이분 매치를 계산하여 정의한다.
• 참과 계산된 궤적에 대해 하나의 일대일 신원 매핑을 모든 카메라에 걸쳐 확립하기 위한 최소 비용 이분 매칭을 정의한다.
• DukeMTMC 데이터 세트를 8개의 동기화된 1080p/60fps 카메라, 2,834개의 신원, 그리고 2백만 프레임에 걸친 보정 데이터를 포함하도록 개발한다.
• 다 detections, tracklets, trajectories를 연결하기 위해 다층 그래프, 상관 클러스터링, 슬라이딩 윈도우를 사용하는 참조 MTMC 트래커를 제공한다.
• 기존 지표(MOTA/MCTA)와 비교하고 새로운 지표가 ID 수준 성능 및 핸오버 리얼리즘을 어떻게 반영하는지 보여준다.

실험 결과

연구 질문

• RQ1 전통적인 이벤트 기반 MTMC 지표가 다중 카메라 간 실제 신원 기반 추적 성능과 어떻게 일치하는가?
• RQ2 진실-결과의 일대일 신원 매핑이 조각화/병합 개수보다 MTMC 추적 품질을 더 잘 정량화할 수 있는가?
• RQ3 대규모의 현실적인 다중 카메라 데이터 세트가 현재 트래커와 지표의 한계를 드러내는가?
• RQ4 제안된 ID 기반 지표로 현실적인 실외 캠퍼스 데이터셋에서 기본 MTMC 시스템이 어떤 성능을 보이는가?

주요 결과

• ID 재현(ID recall) 및 ID 정밀도(ID precision)은 조각화/병합 개수와 약하게 상관관계를 보이며, 이벤트 기반 지표가 ID 성능을 잘 나타내지 못한다.
• 핸오버 오류는 실제로 빈번하며 기존 지표로 잘 잘못 해석될 수 있다; 제안된 지표는 잘못 할당된 프레임에 더 정확한 페널티를 부여한다.
• DukeMTMC 데이터 세트에는 2,834개의 신원, 8대 카메라, 그리고 2백만 프레임 이상이 있어 현실적인 MTMC 도전 과제를 제시한다.
• 참조 MTMC 트래커는 경쟁력 있는 성능을 달성하며 새로운 지표와 데이터 세트에 대해 향후 비교의 기준을 제공한다.
• 제안된 지표로 평가하면 전통적인 MCTA/MOTA 스타일 지표와 다른 결과가 나오며 신원 중심 평가의 필요성을 강조한다.