[논문 리뷰] Monocular Quasi-Dense 3D Object Tracking

Hou-Ning Hu, Yung-Hsu Yang외 4명|arXiv (Cornell University)|2021. 03. 12.

Video Surveillance and Tracking Methods인용 수 7

한 줄 요약

이 논문은 단일 카메라 영상에서 자동차 운동 추정을 통해 단일 영상에서 정확하고 강건한 3D 객체 추적을 가능하게 하는 단일 카메라 준밀도 3D 객체 추적 프레임워크를 제안한다. 이는 준밀도 유사도 학습, 3D 경계상자 깊이 순서 히ュ리스틱, 그리고 LSTM 기반 속도 모듈을 활용한다. 이는 nuScenes에서 기존의 시각 전용 방법보다 5배 높은 정확도를 달성하고, Waymo Open 3D 추적 벤치마크에서 첫 번째 카메라 전용 기준선을 수립한다.

ABSTRACT

A reliable and accurate 3D tracking framework is essential for predicting future locations of surrounding objects and planning the observer's actions in numerous applications such as autonomous driving. We propose a framework that can effectively associate moving objects over time and estimate their full 3D bounding box information from a sequence of 2D images captured on a moving platform. The object association leverages quasi-dense similarity learning to identify objects in various poses and viewpoints with appearance cues only. After initial 2D association, we further utilize 3D bounding boxes depth-ordering heuristics for robust instance association and motion-based 3D trajectory prediction for re-identification of occluded vehicles. In the end, an LSTM-based object velocity learning module aggregates the long-term trajectory information for more accurate motion extrapolation. Experiments on our proposed simulation data and real-world benchmarks, including KITTI, nuScenes, and Waymo datasets, show that our tracking framework offers robust object association and tracking on urban-driving scenarios. On the Waymo Open benchmark, we establish the first camera-only baseline in the 3D tracking and 3D detection challenges. Our quasi-dense 3D tracking pipeline achieves impressive improvements on the nuScenes 3D tracking benchmark with near five times tracking accuracy of the best vision-only submission among all published methods. Our code, data and trained models are available at https://github.com/SysCV/qd-3dt.

연구 동기 및 목표

• LiDAR나 깊이 센서 없이 단일 영상에서 정확하고 강건한 3D 객체 추적을 가능하게 하기 위해.
• 관찰 차단, 재식별, 시점 변화와 같은 장기 추적 과제를 외관과 운동 신호를 활용해 해결하기 위해.
• 대규모 합성 주행 시뮬레이션 데이터셋을 활용해 확장 가능하고 데이터 집약적인 훈련 파이프라인을 개발하기 위해.
• Waymo Open 데이터셋에서 3D 추적을 위한 강력한 카메라 전용 기준선을 수립하여 저비용 자율주행 시스템을 발전시키기 위해.

제안 방법

• 단일 영상에서 3D 경계상자 속성(중심, 깊이, 치수, 방향)을 예측하기 위해 다중 헤드 네트워크를 사용한다.
• 밀도 높은 객체 제안서에서의 인스턴스 임베딩을 계산하기 위해 준밀도 유사도 학습을 활용하여 특징 매칭의 강건성을 향상시킨다.
• 관찰 차단 및 재식별 동안 인스턴스 연동을 향상시키기 위해 깊이 순서 히ュ리스틱과 운동 기반 3D 궤적 예측을 적용한다.
• 장기 궤적 정보를 통합하여 운동 외삽을 향상시키기 위해 LSTM 기반 속도 학습 모듈(VeloLSTM)을 통합한다.
• 실제 3D 궤적과 동적 메타데이터를 갖춘 대규모 합성 시뮬레이션 데이터셋을 활용해 엔드 투 엔드 추적 파이프라인을 훈련시킨다.
• 자체 운동 보정을 통해 3D 객체 자세를 세계 좌표계로 투영하여 프레임 간 추적 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 희소한 진짜 박스가 아닌 밀도 높은 제안서를 활용함으로써 준밀도 유사도 학습이 단일 영상 추적에서 3D 객체 연동을 향상시키는가?
• RQ2 깊이 순서 히ュ리스틱과 운동 기반 예측이 3D 추적에서 관찰 차단과 재식별 문제를 얼마나 효과적으로 해결하는가?
• RQ3 실제 벤치마크에서 LiDAR 기반 방법과 비교해 단일 영상 시스템이 얼마나 경쟁력 있는 3D 추적 성능을 달성할 수 있는가?
• RQ4 대규모 합성 데이터셋이 실세계 배치를 위한 강건한 단일 영상 3D 추적 시스템 훈련에 효과적으로 기여할 수 있는가?
• RQ5 VeloLSTM을 통한 장기 운동 모델링 통합이 3D 추적의 궤적 예측 정확도를 상당히 향상시키는가?

주요 결과

• 제안된 준밀도 3D 추적 파이프라인은 nuScenes 3D 추적 벤치마크에서 AMOTA@1.0이 0.217을 기록하여 기존의 최고의 시각 전용 방법인 CenterTrack-Vision(0.046)보다 거의 5배 높은 성능을 달성했다.
• KITTI 추적 벤치마크에서 MOTA는 84.52에서 86.41로 향상되어 발표된 방법들 중 3위를 기록했으며, 이전 버전 대비 5개 순위 향상되었다.
• 이 프레임워크는 Waymo Open 3D 추적 벤치마크에서 첫 번째 카메라 전용 기준선을 수립했으며, 실제 도시 주행 환경에 대한 강력한 일반화 능력을 보였다.
• 합성 시뮬레이션 데이터셋은 효과적인 사전 훈련을 가능하게 하고, 단일 영상 3D 추적을 위한 데이터 집약적인 딥 러닝 파이프라인 개발을 지원한다.
• nuScenes와 Waymo에서의 정성적 결과는 복잡한 시나리오에서 정확한 3D 경계상자 추정과 일관된 궤적 예측을 보여주는 강건한 장기 추적 능력을 입증했다.