[논문 리뷰] Stereo Vision-based Semantic 3D Object and Ego-motion Tracking for Autonomous Driving

Peiliang Li, Tong Qin외 1명|arXiv (Cornell University)|2018. 07. 05.

Robotics and Sensor-Based Localization참고 문헌 28인용 수 10

한 줄 요약

이 논문은 동적 주행 환경에서 정확하고 시간적으로 일관된 3D 세분화 객체 및 자율주행 차량의 운동 추적을 가능하게 하기 위해 2D 객체 검출, 시점 분류, 희소 특징 추적을 밀접하게 통합한 스테레오 비전 기반 시스템을 제안한다. 정적 객체의 기하학적 측정값과 동적 객체의 번들 조정, 운동학 모델을 융합함으로써, 상태 기반의 3D 객체 자세 및 속도 추정을 정확하게 수행하며, 시간적 일관성이 뛰어나 최신 기술들을 능가하는 자율주행 차량의 자세 추정 및 3D 위치 추정 정확도를 달성한다.

ABSTRACT

We propose a stereo vision-based approach for tracking the camera ego-motion and 3D semantic objects in dynamic autonomous driving scenarios. Instead of directly regressing the 3D bounding box using end-to-end approaches, we propose to use the easy-to-labeled 2D detection and discrete viewpoint classification together with a light-weight semantic inference method to obtain rough 3D object measurements. Based on the object-aware-aided camera pose tracking which is robust in dynamic environments, in combination with our novel dynamic object bundle adjustment (BA) approach to fuse temporal sparse feature correspondences and the semantic 3D measurement model, we obtain 3D object pose, velocity and anchored dynamic point cloud estimation with instance accuracy and temporal consistency. The performance of our proposed method is demonstrated in diverse scenarios. Both the ego-motion estimation and object localization are compared with the state-of-of-the-art solutions.

연구 동기 및 목표

• 종단간 3D 객체 검출 기술의 한계를 해결하기 위해, 무거운 3D 애너테이션을 요구하고 동적 주행 환경에서 시간적 일관성이 떨어지는 문제를 해결하고자 한다.
• 움직이는 물체에 강건한 객체 인식 기반의 카메라 자세 추적을 통해 복잡한 환경에서도 자율주행 차량의 자세 추정 정확도를 향상시키고자 한다.
• 세분화 및 기하 측정값을 통합한 밀접하게 연결된 최적화 프레임워크를 통해 시간적으로 일관된 3D 객체 상태 추정(자세, 속도, 희소 점군)을 실현하고자 한다.
• 운동 모델링과 특징 기하 제약 조건을 활용하여 근거리 및 원거리 객체, 특히 심한 부분 가림이나 가림을 겪는 경우에도 정확하고 안정적인 추적을 가능하게 하고자 한다.
• 다양한 실제 주행 환경에서 최신 기술들과의 정량적 비교를 통해 시스템의 실용성을 입증하고자 한다.

제안 방법

• 시스템은 2D 객체 검출 및 이산적 시점 분류 기반의 경량 3D 박스 추론 방법을 사용하여 초기 3D 객체 측정값과 가림 마스크를 생성한다.
• 움직이는 객체를 자율주행 차량의 자세 추정에서 분리하는 객체 인식 기반의 시각적 옹도메트리 프레임워크를 적용하여, 혼잡한 환경에서도 강력한 자율주행 차량의 자세 추정을 보장한다.
• 새로운 동적 객체 번들 조정(BA) 기법은 시간적 희소 특징 대응 관계와 세분화된 3D 측정값을 융합하여 객체 상태와 카메라 자세를 동시에 최적화한다.
• 검출된 차량에 운동학 모델을 적용하여, 특히 원거리 또는 시야가 떨어지는 객체에서 일관된 방향 및 속도 추정을 강화한다.
• 세분화 측정값, 특징 관측값, 운동 모델, 점군 정렬을 계층적 최적화 파이프라인에 통합하여 3D 객체 추정을 정밀하게 개선한다.
• 프레임워크는 극한의 경우(심한 가림 또는 절단)에서도 시간적 일관성을 유지하는 인스턴스 수준 추적을 가능하게 하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 2D 검출 및 시점 분류 기반의 경량 3D 객체 추론 방법이 희소 3D 애너테이션 없이도 정확하고 일관된 3D 객체 추정을 달성할 수 있는가?
• RQ2 세분화 사전 지식과 기하학적 특징 제약 조건을 어떻게 밀접하게 융합하여 동적 환경 조건에서 3D 객체 추적의 시간적 일관성을 향상시킬 수 있는가?
• RQ3 운동학 모델이 원거리 또는 관측이 어려운 차량의 3D 객체 추적 안정성에 어느 정도 기여할 수 있는가?
• RQ4 객체 인식 기반의 카메라 추적을 통해 움직이는 물체가 존재하는 환경에서도 자율주행 차량의 자세 추정을 강건하게 유지할 수 있는가?
• RQ5 다양한 어려움 수준의 객체에서 세분화, 특징, 운동, 점군 등의 다중 신호 통합이 3D 객체 위치 추정 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 어려움 수준이 쉬운, 보통, 어려운 객체에 대해 평균 3D 위치 추정 오차가 각각 5.9%, 6.1%, 6.3%이며, 진짜 양성 예측의 절반 이상이 5% 이내의 오차를 가진다.
• 전체 신호 통합 시 쉬운 객체에 대해 베이즈 뷰(BEV) 평균 정밀도(AP)는 88.07%(IoU=0.25), 3D 박스 AP는 86.57%(IoU=0.25)를 기록하며, 대부분의 지표에서 3DOP를 능가한다.
• 특징 관측값을 추가하면 근거리 객체에서 성능 향상이 두드러지게 나타나며, 예를 들어 쉬운 객체의 경우 BEV AP가 약 +10% 향상된다. 반면 운동 모델링은 원거리나 작은 객체에서 정확도 향상에 기여한다.
• 심한 절단 상황에서도 2D 검출만으로는 실패할 수 있는 상황에서도 시간적 기하 제약 조건과 운동 모델링 덕분에 일관된 추적을 유지한다.
• 모든 구성 요소(세분화, 특징, 운동, 점군)를 통합한 전체 시스템은 프레임당 평균 173ms의 추론 시간을 기록하여 실시간 적용 가능성을 입증한다.
• 객체 인식 기반의 카메라 추적 덕분에 동적 환경에 매우 강건하며, 움직이는 물체가 존재하더라도 자율주행 차량의 자세 추정에 영향을 주지 않는다.