[논문 리뷰] The Interstate-24 3D Dataset: a new benchmark for 3D multi-camera vehicle tracking

Derek Gloudemans, Yanbing Wang외 3명|arXiv (Cornell University)|2023. 08. 28.

Video Surveillance and Tracking Methods인용 수 8

한 줄 요약

I24-3D를 소개하는 3D 다중 카메라 차량 추적 데이터셋 I-24를 따라 16–17대 카메라, 877k 3D 차량 주석, 다중 카메라 추적 파이프라인의 벤치마크를 제시합니다.

ABSTRACT

This work presents a novel video dataset recorded from overlapping highway traffic cameras along an urban interstate, enabling multi-camera 3D object tracking in a traffic monitoring context. Data is released from 3 scenes containing video from at least 16 cameras each, totaling 57 minutes in length. 877,000 3D bounding boxes and corresponding object tracklets are fully and accurately annotated for each camera field of view and are combined into a spatially and temporally continuous set of vehicle trajectories for each scene. Lastly, existing algorithms are combined to benchmark a number of 3D multi-camera tracking pipelines on the dataset, with results indicating that the dataset is challenging due to the difficulty of matching objects traveling at high speeds across cameras and heavy object occlusion, potentially for hundreds of frames, during congested traffic. This work aims to enable the development of accurate and automatic vehicle trajectory extraction algorithms, which will play a vital role in understanding impacts of autonomous vehicle technologies on the safety and efficiency of traffic.

연구 동기 및 목표

• 고품질의 도로 트래픽 3D 다중 카메라 데이터셋을 실제 고속도로 환경에서 차량 추적에 제공한다.
• 교차 카메라 3D 추적, 재식별, 혼잡한 교통에서의 궤적 융합에 대한 연구를 가능하게 한다.
• 다중 카메라 추적 파이프라인의 기존 벤치마크를 설정하고 난이도와 향후 방법 개발에 방향을 제시한다.

제안 방법

• 3Scene 총 57분에 걸쳐 16–17대 중첩 고속도로 카메라에서 3D 차량 경계 상자를 수집하고 주석화한다.
• 도로 정렬 좌표계에서 3D 경계 상자와 ID로 주석화하여 재식별 및 카메라 간 추적을 수행한다.
• 감지기, 트래커, 교차 카메라 융합 전략을 달리하며 다수의 기존 3D MOT 파이프라인을 벤치마크한다.
• 모노큘러 감지기로부터의 3D 탐지, 다중 추적/연관 방법, 두 가지 융합 전략(감지 융합과 궤적 융합)을 사용하여 교차 카메라 트랙을 만든다.

Figure 1: Example annotated (green boxes) frames from each camera field of view for one scene of the I24-3D Dataset. The approximate field of view for each camera is shown on the overhead roadway diagram below (some cameras shown in unique colors as examples). Regions outside of the considered field

실험 결과

연구 질문

• RQ1 정확한 도로 좌표를 가진 가설이 있는 고속도로 카메라 네트워크에서 3D 다중 카메라 추적이 효과적으로 수행될 수 있는가?
• RQ2 현재의 3D MOT 파이프라인은 많은 카메라에서 밀집한 가려짐과 고속 교통에서 어떻게 수행되는가?
• RQ3 교차 카메라 융합 전략이 교통 모니터링 맥락에서 3D 추적 성능에 미치는 영향은 무엇인가?

주요 결과

• I24-3D는 16–17대 카메라에서 3Scene 총 3개에서 877k 3D 차량 경계 상자, 720개의 고유 차량 궤적을 제공합니다.
• 가장 성능이 좋은 파이프라인(Dual3D 감지기 + KIOU 트래커 + 궤적 융합)은 HOTA 44.8%를 달성하고 GT 입력으로 63.8%의 Mostly Tracked 객체를 달성하며, GT 탐지에서 59.6%, GT 트랙터에서 61.6%의 더 높은 HOTA를 보임.
• 심지어 GT 입력에서도 많은 설정에서 HOTA가 0.6 미만으로 남아 있어, 밀집 교통에서의 위치 추정 정확도와 가려짐으로 인한 교차 카메라 추적의 어려움을 시사한다.
• localization 오류는 무시할 수 없으며(카메라 간 평균 위치 차이 1.24 ft, 치수 평균 오차 0.5 ft).
• 교차 카메라 교정 및 융합은 성능에 큰 영향을 미치며; 궤적 융합이 종종 강력한 결과를 내지만(정밀한 교통 분석 성능: 예: HOTA > 0.75, MT/ML 균형)을 달성하는 방법은 없다.
• 데이터셋은 특히 가려짐과 더 빠르게 움직이는 물체가 있을 때 혼잡한 장면에서 모든 차량 추적의 상당한 도전과제를 밝힌다.

Figure 2: Example single annotation. The annotation is stored in roadway coordinates (left) but can be projected into cameras 5 and 6 on pole 1 (p1c5 and p1c6).