[논문 리뷰] You Only Need Two Detectors to Achieve Multi-Modal 3D Multi-Object Tracking

Xiyang Wang, Chunyun Fu외 7명|arXiv (Cornell University)|2023. 04. 18.

Video Surveillance and Tracking Methods인용 수 9

한 줄 요약

종단 간 멀티모달 3D MOT 프레임워크를 제안하여 데이터 연관성 없이 2D 탐지기와 3D 탐지기만으로 함께 탐지와 추적을 수행하고 강인성을 향상시킵니다.

ABSTRACT

In the classical tracking-by-detection (TBD) paradigm, detection and tracking are separately and sequentially conducted, and data association must be properly performed to achieve satisfactory tracking performance. In this paper, a new end-to-end multi-object tracking framework is proposed, which integrates object detection and multi-object tracking into a single model. The proposed tracking framework eliminates the complex data association process in the classical TBD paradigm, and requires no additional training. Secondly, the regression confidence of historical trajectories is investigated, and the possible states of a trajectory (weak object or strong object) in the current frame are predicted. Then, a confidence fusion module is designed to guide non-maximum suppression for trajectories and detections to achieve ordered and robust tracking. Thirdly, by integrating historical trajectory features, the regression performance of the detector is enhanced, which better reflects the occlusion and disappearance patterns of objects in real world. Lastly, extensive experiments are conducted on the commonly used KITTI and Waymo datasets. The results show that the proposed framework can achieve robust tracking by using only a 2D detector and a 3D detector, and it is proven more accurate than many of the state-of-the-art TBD-based multi-modal tracking methods. The source codes of the proposed method are available at https://github.com/wangxiyang2022/YONTD-MOT.

연구 동기 및 목표

• 멀티모달 3D MOT를 명시적 데이터 연관 없이 간소화하려는 동기 부여.
• 단일 모델에서 탐지와 추적을 융합하는 엔드 투 엔드 프레임워크를 개발합니다.
• 히스토리컬 궤도의 회귀 자신도를 현재 프레임에서 객체 상태를 예측하는 데 활용합니다.
• 가늠된 궤도 특성을 사용하여 탐지기 회귀를 강화하고 가려짐 및 소실 패턴을 반영합니다.

제안 방법

• 객체 탐지와 다중 객체 추적을 단일 엔드 투 엔드 모델에 통합합니다.
• 전통적인 TBD(추적-기반 탐지) 데이터 연관 단계를 제거합니다.
• 궤도 및 탐지에 대한 비최대 억제(nMS)를 안내하는 자신감 융합 모듈을 도입합니다.
• 히스토리 회귀 자신도를 바탕으로 현재 프레임에서 가능한 궤도 상태를 예측합니다(약한 것 vs 강한 것).
• 히스토리 궤도 특성을 도입하여 탐진 회귀를 개선하고 가려짐에 대응합니다.
• KITTI와 Waymo에서 2D 탐지기와 3D 탐지기만으로도 강인성을 보여주는지 평가합니다.

실험 결과

연구 질문

• RQ1 멀티모달 3D MOT에서 복잡한 데이터 연관의 필요성을 제거하기 위해 엔드 투 엔드 joint 탐지와 추적이 가능한가?
• RQ2 히스토리 궤도의 회귀 자신도가 현재 프레임의 상태 예측 및 억제 결정에 어떤 영향을 미치는가?
• RQ3 히스토리 궤도 특성을 도입하면 가려짐 및 소실 패턴에서 탐지 회귀가 개선되는가?

주요 결과

• 프레임워크는 2D 탐지기와 3D 탐지기 만으로 강인한 멀티모달 3D MOT를 달성합니다.
• 보고된 주장에 근거하여 많은 최첨단 TBD 기반 멀티모달 추적 방법보다 우수합니다.
• 자신감 융합 모듈이 비최대 억제를 안내하여 정렬되고 강인한 추적 결과를 생성합니다.
• 히스토리 궤도 특성이 탐지기의 회귀 성능을 향상시켜 실제 가려짐 및 소실 패턴을 더 잘 반영합니다.