[논문 리뷰] CC-3DT: Panoramic 3D Object Tracking via Cross-Camera Fusion

Tobias Fischer, Yung-Hsu Yang외 3명|arXiv (Cornell University)|2022. 12. 02.

Video Surveillance and Tracking Methods인용 수 14

한 줄 요약

CC-3DT는 시간적 연속성과 다중 카메라 간 연동을 고려해 3D 검출 결과와 외관 특징을 사전에 융합하는 파노라마 3D 객체 추적 방법을 제안한다. 이는 교차 카메라 및 시간적 추적을 동시에 수행할 수 있게 하여 정체성 전환을 감소시키고 운동 모델링을 향상시킨다. 이 방법은 기존의 카메라 기반 방법과 동일한 3D 검출기(예: DETR3D)를 사용할 때 NuScenes 벤치마크에서 기존 최고 성능 대비 12.6% 높은 AMOTA를 달성하며, 새로운 최고 성능을 확립한다.

ABSTRACT

To track the 3D locations and trajectories of the other traffic participants at any given time, modern autonomous vehicles are equipped with multiple cameras that cover the vehicle's full surroundings. Yet, camera-based 3D object tracking methods prioritize optimizing the single-camera setup and resort to post-hoc fusion in a multi-camera setup. In this paper, we propose a method for panoramic 3D object tracking, called CC-3DT, that associates and models object trajectories both temporally and across views, and improves the overall tracking consistency. In particular, our method fuses 3D detections from multiple cameras before association, reducing identity switches significantly and improving motion modeling. Our experiments on large-scale driving datasets show that fusion before association leads to a large margin of improvement over post-hoc fusion. We set a new state-of-the-art with 12.6% improvement in average multi-object tracking accuracy (AMOTA) among all camera-based methods on the competitive NuScenes 3D tracking benchmark, outperforming previously published methods by 6.5% in AMOTA with the same 3D detector.

연구 동기 및 목표

• 제한된 교차 카메라 연동으로 인해 다중 카메라 자율주행 시스템에서 3D 객체 추적의 일관성이 떨어지는 문제를 해결하기 위해.
• 시간적 연속성 이전에 다중 카메라 간 3D 검출 결과를 융합하여 추적 일관성 향상과 정체성 전환 감소를 도모하기 위해.
• 특히 카메라 시야에 새로 등장한 객체에 대해 교차 카메라 궤적 정보를 활용해 운동 모델링을 향상시키기 위해.
• NuScenes 및 Waymo Open과 같은 대규모 벤치마크에서 카메라 기반 3D 다중 객체 추적의 새로운 최고 성능 기준을 설정하기 위해.

제안 방법

• 각 카메라 시야에서 독립적으로 3D 객체 검출 및 외관 특징 추출을 수행한다.
• 카메라 공간에서의 3D 검출 결과와 특징을 세계 좌표계로 변환한 후, 3D 비최대 억제(Non-Maximum Suppression)를 통해 융합한다.
• 운동 및 외관 정보를 기반으로 통합 추적 모듈이 모든 카메라와 시간에 걸쳐 검출 결과를 연동한다.
• 교차 카메라 연동을 통해 운동 모델링이 향상되어, 새로 시야에 등장한 객체의 검출 품질까지도 개선된다.
• 다양한 카메라를 통해 확보된 궤적 정보를 기반으로 한 운동 모델을 활용해 추적의 일관성을 향상시킨다.
• 프레임워크는 모듈식이며, Faster R-CNN, DETR3D, BEVFormer와 같은 다양한 3D 검출기와 호환된다.

실험 결과

연구 질문

• RQ1 사전 융합된 교차 카메라 3D 검출 결과가 후행 융합 대비 3D 다중 객체 추적 성능 향상에 뚜렷한 기여를 할 수 있는가?
• RQ2 동시 교차 카메라 및 시간적 연동이 운동 모델 정확도와 추적 일관성에 미치는 영향은 어떠한가?
• RQ3 교차 카메라 융합이 파노라마 3D 추적에서 정체성 전환 감소와 궤적의 매끄러움 향상에 얼마나 기여하는가?
• RQ4 다양한 카메라의 검출 결과를 융합하는 통합 추적 컴포onent이 단일 카메라 기반 베이스라인 및 기존 다중 카메라 추적 방법을 초월할 수 있는가?
• RQ5 제안된 방법이 NuScenes 및 Waymo Open 데이터셋에서 일관된 성능 향상을 보이며, 두 벤치마크에서 모두 최고 성능을 달성하는가?

주요 결과

• CC-3DT는 동일한 3D 검출기(DETR3D)를 사용할 때 NuScenes 검증 세트에서 42.9%의 새로운 최고 수준의 AMOTA를 달성하였으며, 이는 이전 최고 성능인 MUTR3D 대비 12.6% 높은 성능이다.
• 더 강력한 BEVFormer 검출기를 사용했을 때도 CC-3DT는 MUTR3D 대비 AMOTA를 13.5% 향상시켜, 다양한 검출기 유형에 걸쳐 일관된 슈퍼리어리티를 입증하였다.
• Waymo Open 벤치마크에서 CC-3DT는 0.3 IoU 임계값에서 MOTA 20.32% 및 매칭 오류 비율 6.9%를 기록하여, 전체 성능 및 연동 성능 모두에서 QD-3DT를 앞서며 우월성을 입증하였다.
• Faster R-CNN 검출기를 사용했을 때 CC-3DT는 NuScenes 검증 세트에서 IDS(정체성 전환 수)를 2536으로 기록하여 가장 낮은 값을 기록하며 뛰어난 연동 정확도를 입증하였다.
• 동일한 검출기로도 AMOTP를 1.498(MUTR3D)에서 1.433으로 감소시켜, 보다 정밀한 3D 경계상자 예측 성능을 확보하였다.
• 교차 카메라 운동 모델이 추적 성능을 크게 향상시켰으며, MUTR3D에서 사용된 칼만 필터 기반 기준 대비 정체성 전환 수를 줄였음에도 불구하고 성능이 뛰어나다.