[논문 리뷰] No Blind Spots: Full-Surround Multi-Object Tracking for Autonomous Vehicles using Cameras & LiDARs

Akshay Rangesh, Mohan M. Trivedi|arXiv (Cornell University)|2018. 02. 23.

Video Surveillance and Tracking Methods참고 문헌 25인용 수 19

한 줄 요약

이 논문은 자율주행 차량을 위한 모듈식 전방위 다객체 추적 프레임워크인 M3OT을 제안한다. 카메라와 LiDAR 데이터를 융합하여 3D 세계 공간에서 차량을 추적한다. 2D 추적-검출 방식을 마르코프 결정 과정(MDPs)과 센서 융합으로 확장함으로써, 다수의 카메라와 센서 모odal리티를 통해 안정적이고 장기적인 추적 성능을 달성하며, 시각 전용 및 IPM 기반 방법보다 정확도와 안정성에서 뛰어나다.

ABSTRACT

Online multi-object tracking (MOT) is extremely important for high-level spatial reasoning and path planning for autonomous and highly-automated vehicles. In this paper, we present a modular framework for tracking multiple objects (vehicles), capable of accepting object proposals from different sensor modalities (vision and range) and a variable number of sensors, to produce continuous object tracks. This work is a generalization of the MDP framework for MOT, with some key extensions - First, we track objects across multiple cameras and across different sensor modalities. This is done by fusing object proposals across sensors accurately and efficiently. Second, the objects of interest (targets) are tracked directly in the real world. This is a departure from traditional techniques where objects are simply tracked in the image plane. Doing so allows the tracks to be readily used by an autonomous agent for navigation and related tasks. To verify the effectiveness of our approach, we test it on real world highway data collected from a heavily sensorized testbed capable of capturing full-surround information. We demonstrate that our framework is well-suited to track objects through entire maneuvers around the ego-vehicle, some of which take more than a few minutes to complete. We also leverage the modularity of our approach by comparing the effects of including/excluding different sensors, changing the total number of sensors, and the quality of object proposals on the final tracking result.

연구 동기 및 목표

• 이질적인 센서 입력을 사용하여 자율주행 차량에서 장기적이고 전방위적인 다객체 추적 문제를 해결하기 위해.
• 기존 2D 이미지 평면 추적의 한계를 극복하기 위해 객체를 직접 3D 세계 공간에서 추적함으로써 내비게이션 및 계획 수립을 향상시키기 위해.
• 카메라 수와 옵션으로 제공되는 LiDAR의 수를 다양하게 설정할 수 있는 모듈식이고 확장 가능한 프레임워크를 개발하기 위해.
• 센서 융합 기법, 투영 방법, 검출기 품질이 실차 고속도로 환경에서 추적 성능에 미치는 영향을 평가하기 위해.

제안 방법

• 프레임워크는 마르코프 결정 과정(MDPs) 기반의 추적-검출 방식을 사용하며, 객체 수명 주기를 순차적 의사결정 과정으로 모델링한다.
• 데이터 연동은 외관, 운동, 기하학적 특징 등의 다중 유사도 측정치를 조합한 학습된 정책을 통해 수행된다.
• 카메라와 LiDAR에서 유도된 객체 제안을 캘리브레이션된 다중 카메라 시스템을 통해 조기에 융합하며, LiDAR 포인트 클라우드는 정확한 3D 위치 추정에 사용된다.
• 두 가지 투영 기법이 평가되었으며, 각각 LiDAR 기반 3D 투영과 역perspective mapping(IPM)을 이용한 이미지 평면 투영이다.
• 동적 센서 구성이 가능하여 카메라 및 LiDAR의 포함 또는 제거를 통해 모ularity와 내구성을 평가할 수 있다.
• 전역 위치 기반 특징(φ13, φ14)이 도입되어 마지막으로 알려진 목표 위치에서 너무 멀리 떨어진 제안을 제거함으로써 실종 상태에서의 데이터 연동을 향상시킨다.

실험 결과

연구 질문

• RQ1 다중 시점 카메라와 LiDAR의 통합은 전방위 자율주행 환경에서 장기적 추적 성능을 어떻게 향상시키는가?
• RQ2 다른 2D에서 3D로의 투영 기법(LiDAR 기반 vs. IPM)은 추적 정확도와 안정성에 어떤 영향을 미치는가?
• RQ3 다양한 센서 모달리티에서 유도된 제안의 융합은 시각 전용 시스템에 비해 추적의 내구성에 어떤 영향을 미치는가?
• RQ4 검출기 품질과 제안의 신뢰성에 대한 변동에 대해 추적기는 어느 정도 민감하지 않은가?
• RQ5 전역 위치 기반 특징의 포함이 실종 상태에서 추적 성능을 어떻게 향상시키는가?

주요 결과

• LiDAR 기반 융합 기법은 거리 기반 융합 방법보다 뚜렷하게 뛰어나며, 특히 IPM 투영과 조합했을 때 트랙 분할을 줄이고 일부 구성에서 MOTA를 최대 15% 향상시킨다.
• LiDAR 포인트 클라우드를 사용한 3D 투영은 IPM 기반 투영에 비해 더 안정적인 트랙과 낮은 MOTP(1.25)를 제공하며, 이는 더 높은 정위치 정확도를 의미한다(MOTP: 2.10).
• 카메라 수가 2대에서 6대까지 다양하게 변하더라도 높은 성능을 유지하여, 다양한 센서 설정에 대한 강력한 모듈성과 적응성을 입증한다.
• 데이터셋에 대해 훈련되지 않은 열악한 2D 검출기 조차도 일관된 MOTA 점수(75% 이상)를 확보하여, 검출기 오류에 대한 뛰어난 내구성을 입증한다.
• 전역 위치 기반 특징(φ13, φ14)을 통합함으로써 모든 지표에서 측정 가능한 향상이 이루어졌으며, 목표 재확보 시 부정확한 연동을 걸러내는 데서 그 가치가 확인되었다.
• 시스템은 복잡한 수분 분량의 운전 동작을 거쳐도 차량을 성공적으로 추적함으로써, 장기적이고 실세계 기반 자율 주행 내비게이션의 능력을 입증했다.