[논문 리뷰] MCTrack: A Unified 3D Multi-Object Tracking Framework for Autonomous Driving

Xiyang Wang, Shouzheng Qi외 9명|arXiv (Cornell University)|2024. 09. 23.

Autonomous Vehicle Technology and Safety인용 수 4

한 줄 요약

MCTrack는 기준 형식(기본형식)을 표준화하고 양단계 매칭 전략(먼저 비행기 위 시야(BEV), 그 다음 이미지 평면(RV)에서 깊이에 대한 강건성을 확보)을 도입함으로써 KITTI, nuScenes, Waymo 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하는 통합된 3차원 다중객체추적 프레임워크를 제안한다. 또한 속도, 가속도, 각속도를 중심으로 한 운동 인식 평가 지표 세트를 도입한다.

ABSTRACT

This paper introduces MCTrack, a new 3D multi-object tracking method that achieves state-of-the-art (SOTA) performance across KITTI, nuScenes, and Waymo datasets. Addressing the gap in existing tracking paradigms, which often perform well on specific datasets but lack generalizability, MCTrack offers a unified solution. Additionally, we have standardized the format of perceptual results across various datasets, termed BaseVersion, facilitating researchers in the field of multi-object tracking (MOT) to concentrate on the core algorithmic development without the undue burden of data preprocessing. Finally, recognizing the limitations of current evaluation metrics, we propose a novel set that assesses motion information output, such as velocity and acceleration, crucial for downstream tasks. The source codes of the proposed method are available at this link: https://github.com/megvii-research/MCTrack}{https://github.com/megvii-research/MCTrack

연구 동기 및 목표

• 특정 데이터셋에서만 최신 기술 수준(SOTA) 성능을 달성하는 기존 3차원 다중객체추적(MOT) 방법의 일반화 능력 부족 문제를 해결한다.
• KITTI, nuScenes, Waymo 데이터셋 간의 감지 출력을 통일된 BaseVersion 형식으로 표준화하여 전처리 부담을 줄인다.
• 카메라 기반 감지에서의 깊이 정확도 저하 문제를 고려해, 두 단계 매칭 전략을 도입함으로써 실세계 환경에서의 추적 강건성을 향상시킨다.
• 추적 성능 평가의 실용성 향상을 위해 속도, 가속도, 각속도 등의 운동 특성에 중점을 둔 새로운 평가 지표 세트를 제안한다.
• 다양한 데이터셋과 모델에서 추적 정확도 향상에 기여하는 일반 목적의 손실 함수인 Ro_GDIoU의 효과를 입증한다.

제안 방법

• 추적-기반 감지(TBD) 기반의 통합된 3차원 MOT 프레임워크인 MCTrack를 제안하며, 두 단계 매칭 파이프라인을 적용한다: 먼저 비행기 위 시야(BEV) 평면에서 매칭을 수행하고, BEV 매칭에 실패한 궤적은 이후 이미지 평면(RV)에서 재매칭한다.
• KITTI, nuScenes, Waymo 데이터셋 간의 감지 출력(박스, 점수, 레이블)을 통일된 BaseVersion 형식으로 표준화하여 일관된 알고리즘 개발을 가능하게 한다.
• 전방 시야 영역 내 장애물에 대해서만 이미지 평면(RV)에서 보조 매칭을 적용하여 효율성과 깊이 추정 오차에 대한 강건성을 향상시킨다.
• 로테이션 및 스케일 불변성을 통합하여 IoU 추정 정확도를 향상시키는 새로운 손실 함수 Ro_GDIoU를 개발한다.
• 궤적 연결 외에도 운동 출력의 정확도(속도, 가속도, 각속도)를 측정하는 새로운 평가 지표 세트를 도입한다.
• 최신 기술 수준의 감지기(CasA, VirConv 등)를 활용한 다중 데이터셋 평가 프로토콜을 도입하여 다양한 센서 모odal 및 시나리오 간의 일반화 및 강건성 검증을 수행한다.

실험 결과

연구 질문

• RQ1 특정 데이터셋에 맞춰 튜닝되지 않은 단일 3차원 MOT 프레임워크가 KITTI, nuScenes, Waymo 등 다양한 자율주행 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성할 수 있는가?
• RQ2 BEV 이후 RV로 이어지는 두 단계 매칭 전략이 깊이 정확도 저하로 인한 ID 전환 및 분할 문제를 BEV 전용 매칭 대비 얼마나 효과적으로 줄이는가?
• RQ3 제안된 Ro_GDIoU 손실 함수가 다양한 데이터셋과 감지기에서 기존 IoU 변종(GIoU, DIoU) 대비 추적 정확도 향상에 얼마나 기여하는가?
• RQ4 기존 지표(HOTA, MOTA 등)와 비교해 속도, 가속도 등의 운동 인식 평가 지표가 계획 시스템에 대한 추적 출력의 실용성 반영에 얼마나 효과적인가?
• RQ5 BaseVersion 형식이 기존 최신 기술 수준의 감지 파이프라인과 호환되면서도 연구자들이 데이터셋 간 전처리 부담을 크게 줄일 수 있는가?

주요 결과

• MCTrack는 모든 세 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다: KITTI와 nuScenes에서 1위, Waymo에서 2위를 기록하며, Waymo에서 상위 성능을 낸 메서드보다도 낮은 성능의 감지기를 사용한 점을 감안할 때 놀라운 성능을 보였다.
• 이미지 평면(RV)에서의 보조 매칭은 특히 깊이 오차가 흔한 카메라 기반 감지에서 ID 전환과 잡음을 줄여주며, CasA 감지기를 사용한 KITTI 데이터셋에서 IDS는 5% 감소하고 MOTA는 2.5% 향상되었다.
• Ro_GDIoU는 다양한 최신 기술 수준 기반 모델에서 추적 성능 향상을 이끌어냈다: KITTI(PC3T)에서 HOTA는 0.48% 향상되고 MOTA는 0.25% 향상되었으며, nuScenes(Poly-MOT)에서는 AMOTA가 0.4% 향상되고 MOTA가 1.1% 향상되어 광범위한 효과를 입증했다.
• 제안된 운동 인식 평가 지표 세트는 궤적 연결이 정확하더라도 추적 시스템이 운동 특성(속도, 가속도)을 정확히 예측하지 못하는 경우가 많다는 점을 드러내어 현재 평가 관행의 핵심적 격차를 노출시켰다.
• BaseVersion 형식은 다양한 데이터셋 간 감지 출력의 원활한 통합을 가능하게 하여 데이터셋 전용 전처리의 필요성을 줄이고 알고리즘 개발 속도를 가속화했다.
• 절단 분석 결과, RV 매칭은 성능이 열악한 감지 환경에서 가장 큰 성능 향상을 가져왔으며, 이는 계산 자원이 제한된 실세계 구현 환경에서 특히 유용함을 시사한다.