[논문 리뷰] Joint Multi-Object Detection and Tracking with Camera-LiDAR Fusion for Autonomous Driving

Kemiao Huang, Hao Qi|arXiv (Cornell University)|2021. 08. 10.

Video Surveillance and Tracking Methods인용 수 6

한 줄 요약

이 논문은 자율주행을 위한 카메라-LiDAR 융합을 사용하는 실시간 엔드 투 엔드 통합 다중객체 검출 및 추적(JMODT) 프레임워크를 제안한다. 통합 네트워크를 통해 3D 객체 검출과 온라인 연관을 통합하며, 외관, 운동, 기하학을 통합한 강력한 3D 유사도 메트릭을 사용하고, 복합적인 데이터 연관을 위해 혼합정수프로그래밍(MIP)을 적용하여 KITTI 벤치마크에서 외부 사전학습 없이도 최고 수준의 MOTA(86.3%)와 추론 속도(0.01초)를 달성한다.

ABSTRACT

Multi-object tracking (MOT) with camera-LiDAR fusion demands accurate results of object detection, affinity computation and data association in real time. This paper presents an efficient multi-modal MOT framework with online joint detection and tracking schemes and robust data association for autonomous driving applications. The novelty of this work includes: (1) development of an end-to-end deep neural network for joint object detection and correlation using 2D and 3D measurements; (2) development of a robust affinity computation module to compute occlusion-aware appearance and motion affinities in 3D space; (3) development of a comprehensive data association module for joint optimization among detection confidences, affinities and start-end probabilities. The experiment results on the KITTI tracking benchmark demonstrate the superior performance of the proposed method in terms of both tracking accuracy and processing speed.

연구 동기 및 목표

• 자율주행을 위한 다중객체 추적(MOT)에서 계단식 추적-기반 검출 파이pline의 한계를 해결하기 위해.
• 다중 모odal 센서 융합을 통해 혼잡한 물체 분포나 가림 상황에서도 추적의 강건성을 향상시키기 위해.
• 실시간 성능을 확보하기 위해 검출, 상관관계, 데이터 연관을 통합 최적화하는 유일한 프레임워크를 개발하기 위해.
• 검출 신뢰도, 유사도 메트릭, 시작/종료 확률을 종합적인 데이터 연관 모듈에 통합하기 위해.
• 외부 2D 데이터셋이나 사전학습이 필요 없도록 3D 데이터에 대한 엔드 투 엔드 통합 학습에 의존함으로써 외부 2D 데이터셋이나 사전학습을 제거하기 위해.

제안 방법

• 카메라(2D)와 LiDAR(3D) 측정치를 융합한 엔드 투 엔드 딥 네트워크가 3D 경계상자와 연관 점수를 동시에 예측한다.
• 새로운 3D 운동 인식 유사도 계산 모듈이 거리-IoU(DIoU) 메트릭을 사용해 카메라에서의 외관 특징과 칼만 필터에서의 운동 예측을 융합한다.
• 포인트 단위의 카메라와 LiDAR 특징 융합을 통해 공간 정확도를 유지하고 정밀한 3D 정위치를 가능하게 한다.
• 혼합정수프로그래밍(MIP)을 사용해 검출 신뢰도, 유사도 점수, 트랙 시작/종료 확률을 함께 최적화하는 종합적인 데이터 연관 모듈을 구현한다.
• 유사한 외관을 가진 물체를 구분할 수 있도록 시작-종료 추정 모듈을 포함하여 ID 스위치를 줄인다.
• 외부 2D 데이터셋의 사전학습 없이도 3D 애너테이션만을 기반으로 엔드 투 엔드로 학습한다.

Figure 1: An overview of the classical MOT system with camera-LiDAR fusion for autonomous driving. $\text{Frame}_{t-1}$ and $\text{Frame}_{t}$ are two adjacent frames of fused 2D-3D data respectively. $S_{1...4}$ represent tracking states.

실험 결과

연구 질문

• RQ1 검출과 추적의 통합 엔드 투 엔드 학습이 카메라-LiDAR 융합 시스템에서 추적 정확도와 추론 속도를 향상시킬 수 있는가?
• RQ2 3D 운동 및 기하학 인식 유사도 메트릭을 통합할 경우, 가림 상황이나 밀도 높은 물체 환경에서의 강건성이 어떻게 향상되는가?
• RQ3 검출 불확실성과 트랙 수명 주기를 모델링하는 통합 데이터 연관 모듈이 추적 성능에 얼마나 큰 기여를 하는가?
• RQ4 통합 검출 및 추적 프레임워크가 성능을 유지하거나 향상시키면서도 외부 2D 사전학습이 필요 없이 작동할 수 있는가?
• RQ5 실세계 벤치마크에서 제안된 방법이 최고 수준의 추적-기반 검출 및 통합 검출-추적 기반 방법과 어떻게 비교되는가?

주요 결과

• 제안된 JMODT 프레임워크는 KITTI 차량 추적 벤치마크에서 MOTA 점수 86.27%를 달성하여 기존의 카메라-LiDAR 융합 방법을 능가한다.
• 프레임당 처리 속도가 0.01초에 달하여 기준 mmMOT(0.02초) 및 기타 최고 수준의 방법보다 뚜렷하게 빠르다.
• 혼합정수프로그래밍(MIP)을 통한 데이터 연관으로 인해, 검출 신뢰도 임계값 0.85에서 오류 양성(False Positive, FP)이 1946에서 578로 감소하고, ID 스위치(IDSW)가 1169에서 2로 감소한다.
• 외관과 운동 융합을 통한 제안된 3D DIoU 유사도 메트릭은 ID 스위치를 단지 2로 줄여, 가림 및 복잡한 운동 시나리오에서 뛰어난 강건성을 입증한다.
• 시작-종료 추정 모듈은 외관이 유사한 물체를 성공적으로 구분하여, 기준 mmMOT가 실패하는 경우에도 ID 스위치를 방지한다.
• 외부 2D 데이터셋이나 사전학습 없이도 3D 애너테이션만을 기반으로 엔드 투 엔드 학습을 수행함으로써 최고 수준의 성능를 달성한다.

Figure 2: The system architecture of the proposed camera-LiDAR based joint multi-object detection and tracking system.