[논문 리뷰] Tracking the Trackers: An Analysis of the State of the Art in Multiple Object Tracking

Laura Leal-Taixé, Anton Milan외 4명|arXiv (Cornell University)|2017. 04. 10.

Video Surveillance and Tracking Methods참고 문헌 50인용 수 94

한 줄 요약

논문은 MOT15와 MOT16를 소개하고, 다중 객체 추적을 위한 표준화된 벤치마크를 제시하며, MOT15에서 32개의 추적기, MOT16에서 16개의 추적기를 분석하고, 평가 지표와 성능 예측 요인을 조사합니다.

ABSTRACT

Standardized benchmarks are crucial for the majority of computer vision applications. Although leaderboards and ranking tables should not be over-claimed, benchmarks often provide the most objective measure of performance and are therefore important guides for research. We present a benchmark for Multiple Object Tracking launched in the late 2014, with the goal of creating a framework for the standardized evaluation of multiple object tracking methods. This paper collects the two releases of the benchmark made so far, and provides an in-depth analysis of almost 50 state-of-the-art trackers that were tested on over 11000 frames. We show the current trends and weaknesses of multiple people tracking methods, and provide pointers of what researchers should be focusing on to push the field forward.

연구 동기 및 목표

• 다중 대상 추적 방법의 공정한 평가를 위한 표준 벤치마크(MOT15 및 MOT16) 도입.
• MOT15 및 MOT16에서 최첨단 추적기의 대규모 성능 분석.
• 인간 평가자와 함께 평가 지표를 검토하여 인지된 품질과의 정합성 평가.
• 현재 추적기의 주요 약점을 식별하고 향후 연구를 위한 지침 제공.

제안 방법

• 12개 클래스에 걸친 엄격한 주석 프로토콜을 갖춘 MOT15(연도 22개 시퀀스, 10만 개 이상 바운딩 박스)와 MOT16(14개 시퀀스, 292k+ 박스) 구성.
• 탐지(DPM/오프더쉘프 방식은 MOT16, ACF는 MOT15)를 제공하고 추적기가 이 탐지에서 작동하도록 요구.
• 공정하고 일관된 지표 계산을 보장하고 테스트 시퀀스에 과적합을 방지하기 위한 중앙 집중식 평가 서버.
• MOT15에서 32개의 추적기와 MOT16에서 16개의 추적기를(2017년 이전 논문들) 평가.
• 탐지기의 성능 대비 트래커의 FP/FN을 비교하여 오류 원인 분석 수행.
• 특징과 간단한 SVM 예측기를 사용하여 주어진 시퀀스나 발췌에 대해 어떤 추적기가 가장 잘 수행하는지 예측하는 실험 수행.

실험 결과

연구 질문

• RQ1 MOT15와 MOT16에서 최첨단 다중 객체 추적기의 현재 강점과 약점은 무엇인가?
• RQ2 다양한 친화성 모델과 외관 정보가 추적 성능에 어떤 영향을 미치는가?
• RQ3 평가 지표가 인간의 시각적 판단을 어느 정도 반영하는가?
• RQ4 시퀀스별 또는 발췌별 예측기를 사용해 최적의 트래커를 선택해 ‘초 추적기’를 구성할 수 있는가?
• RQ5 표준화된 벤치마크가 제시하는 한계점과 잠재적 개선점은 무엇인가?

주요 결과

방법	MOTA	MOTP	FAF	MT	ML	FP	FN	IDsw	Frag
NOMT [ 8 ]	46.4 ± 9.9	76.6	1.6	18.3	41.4	9753	87565	359 (6.9)	504 (9.7)
JMC [ 56 ] & 46.3 ± 9.0	75.7	1.1	15.5	39.7	6373	90914	657 (13.1)	1114 (22.2)
MDPNN16 [ 50 ]	43.8 ± 7.3	75.5	0.6	12.4	40.7	3501	98193	723 (15.7)	2036 (44.1)
oICF [ 28 ]	43.2 ± 10.2	74.3	1.1	11.3	48.5	6651	96515	381 (8.1)	1404 (29.8)
MHT_DAM [ 29 ]	42.9 ± 8.9	76.6	1.0	13.6	46.9	5668	97919	499 (10.8)	659 (14.2)
LINF1 [ 18 ]	41.0 ± 9.5	74.8	1.3	11.6	51.3	7896	99224	430 (9.4)	963 (21.1)
EAMTT_pub [ 51 ]	38.8 ± 8.5	75.1	1.4	7.9	49.1	8114	102452	965 (22.0)	1657 (37.8)
OVBT [ 5 ]	38.4 ± 8.8	75.4	1.9	7.5	47.3	11517	99463	1321 (29.1)	2140 (47.1)
LTTSC-CRF [ 33 ]	37.6 ± 9.9	75.9	2.0	9.6	55.2	11969	101343	481 (10.8)	1012 (22.8)
LP2D [ 36 ]	35.7 ± 10.1	75.8	0.9	8.7	50.7	5084	111163	915 (23.4)	1264 (32.4)
TBD [ 21 ]	33.7 ± 9.2	76.5	1.0	7.2	54.2	5804	112587	2418 (63.2)	2252 (58.9)
CEM [ 41 ]	33.2 ± 7.9	75.8	1.2	7.8	54.4	6837	114322	642 (17.2)	731 (19.6)
DP_NMS [ 46 ]	32.2 ± 9.8	76.4	0.2	5.4	62.1	1123	121579	972 (29.2)	944 (28.3)
GMPHD_HDA [ 55 ]	30.5 ± 6.9	75.4	0.9	4.6	59.7	5169	120970	539 (16.0)	731 (21.7)
SMOT [ 11 ]	29.7 ± 7.3	75.2	2.9	5.3	47.7	17426	107552	3108 (75.8)	4483 (109.3)
JPDA_m [ 48 ]	26.2 ± 6.1	76.3	0.6	4.1	67.5	3689	130549	365 (12.9)	638 (22.5)

• 최고의 추적기들(NOMT, JMC, MDPNN16, oICF, MHT_DAM, LINF1 등)은 MOTA가 40% 이상이고 Mostly Tracked가 10%를 넘는다.
• 성능은 주로 친화성/외관 모델에 의해 좌우되며, 깊이 있게 학습된 접근 방식이 강력한 성능을 보인다.
• 대부분의 방법이 탐지기의 FP를 줄이지만 FN을 줄이는 데 실패하는 경우가 많아 FN-주도적 MOTA 문제가 존재한다.
• 시퀀스 간 교차 비율이 높아 방법들이 시퀀스나 발췌에 걸쳐 비슷하게 성능을 나타내는 경향이 있다.
• MOTA가 인간 시각 평가와 가장 잘 정합되는 지표로 남아 있으며 MT와 Recall도 지각된 품질과 상관이 있다.
• 발췌별 트래커 선택으로 ‘초 추적기’를 만들려는 시도는(오라클 가이드로) MOT15에서 5.5포인트, MOT16에서 2.9포인트의 소폭 이득을 가져왔으며 실제 예측 이득은 더 작았다.
• 인간 평가자들은 전반적 트래커 품질의 단일 지표로 MOTA에 대체로 동의한다.