[논문 리뷰] Joint Monocular 3D Vehicle Detection and Tracking

Hou-Ning Hu, Qi-Zhi Cai외 6명|arXiv (Cornell University)|2018. 11. 26.

Video Surveillance and Tracking Methods참고 문헌 60인용 수 49

한 줄 요약

이 논문은 깊이 인식 데이터 연합을 사용하여 단안 영상에서 3D 차량 바운딩 박스를 공동 탐지하고 시계열로 추적하는 온라인 프레임워크를 제시합니다. 깊이 순서 정렬, LSTM 모션 모델링 및 가려짐 처리로 검증되었으며, GTA 기반 합성 데이터, KITTI, Argoverse에서 검증되었습니다.

ABSTRACT

Vehicle 3D extents and trajectories are critical cues for predicting the future location of vehicles and planning future agent ego-motion based on those predictions. In this paper, we propose a novel online framework for 3D vehicle detection and tracking from monocular videos. The framework can not only associate detections of vehicles in motion over time, but also estimate their complete 3D bounding box information from a sequence of 2D images captured on a moving platform. Our method leverages 3D box depth-ordering matching for robust instance association and utilizes 3D trajectory prediction for re-identification of occluded vehicles. We also design a motion learning module based on an LSTM for more accurate long-term motion extrapolation. Our experiments on simulation, KITTI, and Argoverse datasets show that our 3D tracking pipeline offers robust data association and tracking. On Argoverse, our image-based method is significantly better for tracking 3D vehicles within 30 meters than the LiDAR-centric baseline methods.

연구 동기 및 목표

• 단안 비디오에서 LiDAR나 스테레오 입력 없이 3D 차량 탐지 및 추적을 가능하게 하고 동기를 부여합니다.
• 3D 차량 레이아웃을 공동으로 탐지하고 프레임 간에 연결하는 온라인 프레임워크를 개발합니다.
• 에고 모션 시나리오에서 추적 강인성을 높이기 위해 깊이 순서 정렬과 가려짐 인식 데이터 연합을 활용합니다.
• 3D 차량 궤적을 시간에 걸쳐 외삽하기 위한 LSTM 기반 모션 모델을 도입합니다.
• 3D 추정 데이터를 위한 대규모 GTA 기반 합성 데이터셋을 만들어 데이터-소요 학습을 지원합니다.

제안 방법

• Faster R-CNN으로 2D 제안을 탐지하고 각 객체에 대한 3D 중심 프로젝션을 회귀합니다.
• ROI 특징에서 CNN 서브 네트워크를 이용해 3D 중심 프로젝션, 깊이, 및 3D 박스 정보를 포함한 전체 3D 박스 정보를 추정합니다.
• 월드 좌표계에서 3D 궤적을 형성하고 깊이 순서 매칭 및 가려짐 인식 연결로 온라인으로 객체를 추적합니다.
• 두 개의 LSTM으로 3D 모션을 모델링합니다: 속도와 위치를 위한 예측 LSTM(P-LSTM)과 위치 및 속도를 미세 조정하는 업데이트 LSTM(U-LSTM)입니다.
• 카메라 변환을 고려하여 단일 프레임 3D 추정을 시간에 걸쳐 융합하고 3D 바운딩 박스와 궤적을 정제합니다.

실험 결과

연구 질문

• RQ1 단안 비디오가 에고 모션 센서와 결합될 때 신뢰할 수한 3D 차량 바운딩 박스와 궤적을 제공할 수 있는가?
• RQ2 깊이 인식 데이터 연합이 가려짐과 에고 모션 하에서 프레임 간 객체 신원 보존을 향상시키는가?
• RQ3 단안 설정에서 3D 차량 궤적에 대해 LSTM 기반 모션 모델이 3D 칼만 필터 기반 평활화보다 우수한가?
• RQ4 3D 중심의 이미지 프로젝션이 2D 중심보다 추적 정확도와 ID 신뢰도 향상에 얼마나 기여하는가?
• RQ5 합성 데이터와 실제 데이터의 학습 데이터 규모가 3D 추정 및 추적 성능에 미치는 영향은 무엇인가?

주요 결과

• 제안된 프레임워크는 가려짐 인식 연결 및 깊이 순서 정렬을 통해 단안 비디오에서 강건한 3D 탐지 및 추적을 달성하며, 차이점 분석에서 불일치를 6-8% 감소시킵니다.
• LSTM 기반 모션 모델은 3D IoU 추적 정확도에서 단일 프레임 추정 및 3D 칼만 필터링보다 성능이 우수합니다.
• 3D 중심 프로젝션을 이미지에 투영하는 것이 2D 중심을 사용하는 것보다 ID 전환 및 추적 단절을 크게 감소시킵니다.
• 깊이 순서 매칭은 에고 모션 및 가려짐에 대한 데이터 연합의 강건함을 향상시키며 엔드투엔드 평가에서 MOTA/MOTP 지표를 향상시킵니다.
• 더 큰 GTA 기반 합성 학습 데이터는 깊이 추정 정확도와 3D 레이아웃 품질에 일관된 이점을 제공하며 데이터-소요 모델의 이점을 강조합니다.