[논문 리뷰] A Baseline for 3D Multi-Object Tracking

Xinshuo Weng, Kris Kitani|arXiv (Cornell University)|2019. 07. 09.

Advanced Neural Network Applications참고 문헌 32인용 수 81

한 줄 요약

이 논문은 LiDAR 포인트 클라우드에서 3D 객체 검출기와 3D 칼만 필터, 헝가리안 알고리즘을 조합하여 간단하지만 매우 효율적인 실시간 3D 다중객체추적(MOT) 기반 시스템을 제안한다. 단순함에도 불구하고 KITTI 3D MOT 벤치마크에서 최신 기술 수준을 초월하며, 3D MOTA를 76.47로 향상시켰고, 214.7 FPS로 실행되어 이전 최신 기술 수준의 2D MOT 시스템보다 65배 빠르다.

ABSTRACT

3D multi-object tracking (MOT) is an essential component technology for many real-time applications such as autonomous driving or assistive robotics. However, recent works for 3D MOT tend to focus more on developing accurate systems giving less regard to computational cost and system complexity. In contrast, this work proposes a simple yet accurate real-time baseline 3D MOT system. We use an off-the-shelf 3D object detector to obtain oriented 3D bounding boxes from the LiDAR point cloud. Then, a combination of 3D Kalman filter and Hungarian algorithm is used for state estimation and data association. Although our baseline system is a straightforward combination of standard methods, we obtain the state-of-the-art results. To evaluate our baseline system, we propose a new 3D MOT extension to the official KITTI 2D MOT evaluation along with two new metrics. Our proposed baseline method for 3D MOT establishes new state-of-the-art performance on 3D MOT for KITTI, improving the 3D MOTA from 72.23 of prior art to 76.47. Surprisingly, by projecting our 3D tracking results to the 2D image plane and compare against published 2D MOT methods, our system places 2nd on the official KITTI leaderboard. Also, our proposed 3D MOT method runs at a rate of 214.7 FPS, 65 times faster than the state-of-the-art 2D MOT system. Our code is publicly available at this https URL

연구 동기 및 목표

• 성능과 속도를 균형 잡고 계산적으로 효율적이고 정확한 3D MOT 시스템을 개발하기 위해.
• 자율주행 및 로봇 분야에서 실시간 3D 다중객체추적을 위한 실용적인 기반 시스템을 수립하기 위해.
• 기존 KITTI 2D MOT 벤치마크를 확장하여 새로운 지표를 도입하여 3D MOT 성능을 평가하기 위해.
• 단순한 표준 컴포넌트 조합이 복잡하고 전용 설계된 시스템을 능가할 수 있음을 보여주기 위해.

제안 방법

• LiDAR 포인트 클라우드에서 방향성 3D 경계 상자(oriented 3D bounding boxes)를 생성하기 위해 시장에서 구입 가능한 3D 객체 검출기를 사용한다.
• 추적 중인 객체의 상태 추정을 위해 3D 칼만 필터를 적용한다.
• 감지 결과와 기존 트랙 간의 데이터 연동을 위해 헝가리안 알고리즘을 적용한다.
• 2D 이미지 평면으로 3D 추적 결과를 투영하여 2D MOT 방법과의 교차 벤치마크 비교를 수행한다.
• 공식 KITTI 2D MOT 벤치마크를 확장하여 새로운 3D MOT 평가 프로토콜을 도입한다.
• 기존 MOTA 외에 3D MOT 성능 평가를 위한 두 가지 새로운 지표를 구현한다.

실험 결과

연구 질문

• RQ1 표준 3D 검출기 및 추적 컴포넌트의 단순하고 모듈러한 조합이 최신 기술 수준의 3D MOT 성능을 달성할 수 있는가?
• RQ2 2D로 투영했을 때 실시간 3D MOT 시스템의 성능이 최신 기술 수준의 2D MOT 시스템과 비교해 어떻게 되는가?
• RQ3 복잡한 최신 기술 수준 시스템에 비해 경량 3D MOT 기반 시스템의 계산 효율성은 어떠한가?
• RQ4 단순한 3D 트래커가 정확도와 속도 측면에서 특화된 시스템을 얼마나 능가할 수 있는가?
• RQ5 제안된 3D MOT 평가 프로토콜은 3D 추적 성능 평가를 어떻게 향상시키는가?

주요 결과

• 제안된 3D MOT 기반 시스템은 KITTI 데이터셋에서 3D MOTA 76.47을 달성하여 이전 최신 기술 수준의 72.23을 초월한다.
• 2D로 투영했을 때 시스템은 공식 KITTI 2D MOT 랭킹에서 2위를 기록한다.
• 시스템은 214.7 FPS로 실행되며, 이는 최신 기술 수준의 2D MOT 시스템보다 65배 빠르다.
• 이 방법은 단순성과 효율성이 3D MOT에서 정확도를 저하시키지 않음을 입증한다.
• 새로운 평가 프로토콜과 지표는 3D MOT 시스템에 대한 보다 종합적이고 공정한 벤치마크를 가능하게 한다.
• 결과적으로 칼만 필터와 헝가리안 알고리즘과 같은 표준 컴포넌트가 적절히 통합될 경우 현대 3D 추적에서 여전히 매우 효과적임을 보여준다.