[논문 리뷰] UA-DETRAC: A New Benchmark and Protocol for Multi-Object Detection and Tracking

Longyin Wen, Dawei Du외 7명|arXiv (Cornell University)|2015. 11. 13.

Video Surveillance and Tracking Methods참고 문헌 74인용 수 142

한 줄 요약

이 논문은 다중 객체 검출 및 추적을 위한 대규모 벤치마크인 UA-DETRAC을 소개한다. 이는 100개의 실제 도로 영상과 140,000개 이상의 레이블링 프레임을 포함하며, 검출 성능이 전체 MOT 성능에 미치는 영향을 드러내는 새로운 평가 프로토콜을 제안한다. 또한 MOTA와 유사한 개선된 지표인 PR-MOTA를 도입하여 다양한 시나리오에서 시스템의 강건성 평가를 향상시킨다.

ABSTRACT

In recent years, numerous effective multi-object tracking (MOT) methods are developed because of the wide range of applications. Existing performance evaluations of MOT methods usually separate the object tracking step from the object detection step by using the same fixed object detection results for comparisons. In this work, we perform a comprehensive quantitative study on the effects of object detection accuracy to the overall MOT performance, using the new large-scale University at Albany DETection and tRACking (UA-DETRAC) benchmark dataset. The UA-DETRAC benchmark dataset consists of 100 challenging video sequences captured from real-world traffic scenes (over 140,000 frames with rich annotations, including occlusion, weather, vehicle category, truncation, and vehicle bounding boxes) for object detection, object tracking and MOT system. We evaluate complete MOT systems constructed from combinations of state-of-the-art object detection and object tracking methods. Our analysis shows the complex effects of object detection accuracy on MOT system performance. Based on these observations, we propose new evaluation tools and metrics for MOT systems that consider both object detection and object tracking for comprehensive analysis.

연구 동기 및 목표

• 다중 객체 추적(MOT) 시스템에서 검출 정확도를 고려한 종합적인 평가 프로토콜의 부족을 해결한다.
• 다양한 조건(예: 음영, 조도, 차량 유형)을 고려한 풍부한 레이블링을 제공하는 대규모 실세계 데이터셋을 제공하여 MOT 방법의 강건한 평가를 지원한다.
• 객체 검출 성능과 전체 MOT 시스템 성능 간의 복잡한 상호작용을 조사하며, 고정된 검출 입력을 전제로 하는 기존 가정을 도전한다.
• 검출 성능을 변수로 고려하는 새로운 평가 지표를 개발하여 다양한 응용 시나리오에서 공정하고 정보가 풍부한 벤치마크 평가를 가능하게 한다.
• 표준화되고 확장 가능한 벤치마크 프레임워크를 구축함으로써 향후 공동 검출 및 추적, 실시간 효율성, 데이터 기반 성능 향상에 대한 연구를 가능하게 한다.

제안 방법

• 실제 도로 영상 100개(140,000개 이상의 프레임)를 수집하고, 바운딩 박스, 음영 수준, 잘림 비율, 조도 조건, 차량 유형 등을 포함한 레이블링을 수행한다.
• 최신 검출기(DPM, ACF, R-CNN, CompACT, Faster R-CNN)와 10개의 추적 알고리즘(GOG, CEM, DCT, IHTLS, H2T, CMOT, TBD)을 조합하여 완전한 MOT 시스템을 구축한다.
• 다양한 검출 신뢰도 임계값에서 MOT 성능을 평가하여 추적 성능이 검출 품질에 얼마나 민감한지 분석한다.
• 검출과 추적을 분리하는 새로운 평가 프로토콜을 도입하여, MOTA 및 MOTP와 같은 추적 지표에 대한 검출의 영향을 체계적으로 분석할 수 있도록 한다.
• 검출 입력의 정밀도와 재현율을 고려한 개선된 지표인 PR-MOTA 및 PR-MOTP를 제안하여, 응용 분야에 맞는 성능 평가를 가능하게 한다.
• 프레임 단위의 속도 측정 및 컴퓨팅 플랫폼을 활용하여 검출 및 추적 파이프라인의 실시간 구현 가능성을 평가한다.

실험 결과

연구 질문

• RQ1 객체 검출 정확도는 다중 객체 추적 시스템의 전체 성능에 어떤 영향을 미치는가?
• RQ2 기존 평가 프로토콜이 MOT 벤치마크에서 검출을 고정된 사전 정의된 구성 요소로 간주함으로써 초래하는 한계는 무엇인가?
• RQ3 검출 품질이 추적 성능에 미치는 영향을 체계적으로 분석할 수 있는 새로운 평가 프로토콜을 설계할 수 있는가?
• RQ4 다양한 실세계 조건에서 다양한 검출 알고리즘이 하류 추적 시스템의 MOTA 및 MOTP 점수에 어떤 영향을 미치는가?
• RQ5 감시(정체성 전환 최소화) 또는 자율 주행(거짓 경고 최소화)과 같은 응용 분야 특성에 맞는 MOT 시스템 평가에 가장 유용한 지표는 무엇인가?

주요 결과

• 검출 품질은 MOT 시스템 성능에 상당한 비선형적 영향을 미치며, MOTA 점수는 다양한 검출 신뢰도 임계값에서 크게 변동함을 확인하였다.
• 제안된 PR-MOTA 지표는 추적 성능가 검출 정밀도와 재현율에 매우 민감함을 드러내었으며, 특히 음영 및 저조도 조건에서 두드러진다.
• Faster R-CNN과 CompACT 검출기는 DPM 및 ACF에 비해 검출 품질에서 뚜렷한 우월성을 보이며, 강력한 추적기와 조합 시 더 높은 MOTA 점수를 기록하였다.
• Faster R-CNN 검출 결과를 사용할 경우, GOG 추적기는 UA-DETRAC 테스트 세트에서 최고의 프레임 레이트(404.61 FPS)를 기록하여 높은 실시간 잠재력을 보였다.
• IHTLS 추적기는 검출 재현율이 낮을 경우 MOTA 점수가 크게 하락하는 것으로 나타나, 복잡한 추적 시나리오에서 강력한 검출 성능이 필수적임을 확인하였다.
• 분석 결과, 검출과 추적의 공동 최적화가 필수적임을 확인하였으며, 추적 성능가 검출 품질과 상호의존적임을 입증하였다.