[논문 리뷰] SimpleTrack: Understanding and Rethinking 3D Multi-object Tracking

Ziqi Pang, Zhichao Li외 1명|arXiv (Cornell University)|2021. 11. 18.

Video Surveillance and Tracking Methods참고 문헌 43인용 수 28

한 줄 요약

본 논문은 3D MOT를 네 모듈로 해체하고 실패 모드를 분석하며, 더 엄격한 NMS, 연결을 위한 Generalized IoU(GIoU), 그리고 트랙 수명을 연장하는 두 단계 연관화를 포함한 개선점을 갖춘 강력하고 단순한 기반선인 SimpleTrack를 제안한다.

ABSTRACT

3D multi-object tracking (MOT) has witnessed numerous novel benchmarks and approaches in recent years, especially those under the "tracking-by-detection" paradigm. Despite their progress and usefulness, an in-depth analysis of their strengths and weaknesses is not yet available. In this paper, we summarize current 3D MOT methods into a unified framework by decomposing them into four constituent parts: pre-processing of detection, association, motion model, and life cycle management. We then ascribe the failure cases of existing algorithms to each component and investigate them in detail. Based on the analyses, we propose corresponding improvements which lead to a strong yet simple baseline: SimpleTrack. Comprehensive experimental results on Waymo Open Dataset and nuScenes demonstrate that our final method could achieve new state-of-the-art results with minor modifications. Furthermore, we take additional steps and rethink whether current benchmarks authentically reflect the ability of algorithms for real-world challenges. We delve into the details of existing benchmarks and find some intriguing facts. Finally, we analyze the distribution and causes of remaining failures in ame\ and propose future directions for 3D MOT. Our code is available at https://github.com/TuSimple/SimpleTrack.

연구 동기 및 목표

• 탐지 기반 추적의 3D MOT를 전처리, 모션 모델, 연관, 생애 주기 관리로 분리하여 실패 포인트를 식별하다.
• 각 모듈에 대해 단순하지만 효과적인 개선을 제안하여 강력한 기반선을 구축한다.
• Waymo Open Dataset과 nuScenes에서 SimpleTrack를 평가하여 최첨단 성능을 입증한다.
• 벤치마크를 재평가하고 향후 3D MOT 연구 및 평가의 방향을 제시한다.

제안 방법

• 3D MOT를 네 모듈로 분해한다: 탐지의 전처리, 모션 모델, 연관, 그리고 생애 주기 관리.
• 전처리에서 더 엄격한 비최대 억제(NMS)를 적용하여 재현율을 보존하면서 정밀도를 향상시킨다.
• 연관 지표로 Generalized IoU(GIoU)를 사용하여 IoU 기반 및 거리 기반 실패를 더 잘 처리한다.
• 높은 임계값 패스 후 매칭되지 않은 트랙릿에 저점 탐지를 매칭하여 트랙 생애를 연장하기 위해 두 단계의 연관화를 채택한다.
• 모션 모델(Kalman Filter 대 Constant Velocity)을 비교하고 유사한 이점이나 맥락 의존적 이점을 보인다.
• 평가 프로토콜에 맞춘 재현율 및 출력 점수를 향상시키기 위해 트랙릿 보간과 모션 모델 기반 예측을 통합한다.

실험 결과

연구 질문

• RQ1 현재 3D MOT 방법의 네 가지 파이프라인 구성요소 전반에서 주요 실패 모드는 무엇인가?
• RQ2 단순하고 잘 구성된 변화들(NMS, GIoU, 두 단계 연관)이 주요 벤치마크에서 최첨단 성능을 낼 수 있는가?
• RQ3 탐지 주기와 보간 기반 평가가 nuScenes와 Waymo Open Dataset에서 3D MOT 성능에 어떤 영향을 미치는가?
• RQ4 3D MOT에서 추적-기반 탐지 방식의 상한 한계와 남은 과제는 무엇인가?

주요 결과

• SimpleTrack은 다소 간단한 수정으로 Waymo Open Dataset과 nuScenes에서 최첨단 수준의 결과에 근접한 성능을 달성한다.
• 더 엄격한 NMS가 재현율 손실이 상대적으로 작으면서 정밀도를 크게 향상시킨다.
• GIoU 기반 연관은 IoU 및 거리 기반 실패를 모두 완화하고 이분 매칭과 그리디 전략 모두에서 잘 작동한다.
• 두 단계 연관은 트랙 생애주기를 더 잘 유지함으로써 ID 스위치를 크게 줄이고 MOTA에 미치는 영향은 최소화한다.
• 모션 모델 선택(KF vs. CV)의 이점은 맥락에 따라 다르다; 일반적으로 고주파 환경에서 KF가 도움이 되며, 저주파 환경에서 CV가 강건할 수 있다.
• 고주파 프레임에서 모션 모델 예측을 사용하고 저점 탐지로 생애주기를 확장하면 nuScenes에서 AMOTA를 향상시키고 ID 스위치를 줄이며, 특히 10 Hz 설정에서 효과가 큼.