[논문 리뷰] VDO-SLAM: A Visual Dynamic Object-aware SLAM System

Jun Zhang, Mina Henein외 2명|arXiv (Cornell University)|2020. 05. 22.

Robotics and Sensor-Based Localization참고 문헌 57인용 수 110

한 줄 요약

VDO-SLAM은 세그먼트 정보를 활용하고 SE(3)에서의 객체-모션 모델링으로 카메라를 공동 로컬라이즈하고, 동적 강체 객체를 추적하며, 시공간 맵을 구축하는 강건한 특징 기반 SLAM 시스템이다. 실제 데이터셋에서 객체 속도를 추출하고 최첨단 방법 대비 향상을 보여준다.

ABSTRACT

Combining Simultaneous Localisation and Mapping (SLAM) estimation and dynamic scene modelling can highly benefit robot autonomy in dynamic environments. Robot path planning and obstacle avoidance tasks rely on accurate estimations of the motion of dynamic objects in the scene. This paper presents VDO-SLAM, a robust visual dynamic object-aware SLAM system that exploits semantic information to enable accurate motion estimation and tracking of dynamic rigid objects in the scene without any prior knowledge of the objects' shape or geometric models. The proposed approach identifies and tracks the dynamic objects and the static structure in the environment and integrates this information into a unified SLAM framework. This results in highly accurate estimates of the robot's trajectory and the full SE(3) motion of the objects as well as a spatiotemporal map of the environment. The system is able to extract linear velocity estimates from objects' SE(3) motion providing an important functionality for navigation in complex dynamic environments. We demonstrate the performance of the proposed system on a number of real indoor and outdoor datasets and the results show consistent and substantial improvements over the state-of-the-art algorithms. An open-source version of the source code is available.

연구 동기 및 목표

• 동적으로 움직이는 물체가 SLAM 정확도에 영향을 미치는 환경에서 견고한 네비게이션 및 매핑을 촉진한다.
• 사전 물체 모델을 필요로 하지 않고 카메라 포즈, 정적 3D 포인트, 동적 객체 모션, 객체 수준 속도를 모델링하는 통합 추정 프레임워크를 개발한다.
• 시맨틱 정보와 밀집 특징 표현을 활용하여 가려짐 상황에서 데이터 연관성 및 추적 성능을 향상시킨다.
• 실내/실외의 실제 데이터셋에서 전체 동적 SLAM 성능을 입증하고 오픈 소스 코드를 제공한다.

제안 방법

• 카메라 포즈, 정적 3D 포인트, 및 SE(3)에서의 객체 모션에 대한 공동 추정 문제로 동적 SLAM을 형식화한다.
• 프레임 간 점 트랙과 관련된 모델-프리 SE(3) 포즈 변화로 강체 객체 모션을 표현한다.
• Lie-대수 매개화를 사용하여 이미지 평면에서 3D-2D 재투영 오차를 최소화함으로써 카메라 포즈와 객체 모션을 추정한다.
• 가려짐에서의 신뢰성 있는 점 추적을 위해 광류(광학 흐름), 카메라 포즈, 객체 모션을 공동으로 다듬는다.
• 3D 포인트 측정치, 주행 측정, 객체 모션 요인, 매끄러운 모션 사전을 포함하는 팩터 그래프 최적화(배치 또는 점진적)를 구성한다.
• 정적 구조와 동적 객체 궤적을 포함하는 글로벌 맵을 유지하여 객체의 속도 추출을 가능하게 한다.

실험 결과

연구 질문

• RQ1 사전에 정의된 객체 모델에 의존하지 않고 통합 SLAM 프레임워크에서 동적 장면을 어떻게 모델링할 수 있을까?
• RQ2 모델-프리 표현을 사용하여 움직이는 강체 물체의 점 트랙으로 SE(3) 객체 모션을 견고하게 추정할 수 있을까?
• RQ3 시맨틱 정보를 인스턴스 세그먼트와 밀집 특징 추적과 결합하면 동적 SLAM에서 데이터 연관성 및 안정성을 개선할 수 있을까?
• RQ4 카메라 포즈, 정적 포인트, 동적 객체 모션의 공동 최적화가 실제 데이터에서 기존의 정적-SLAM 또는 2단 MOT 접근법과 비교해 어떤 차이가 있을까?

주요 결과

• 시스템은 동적 객체에 대해 정확한 SE(3) 모션 추정과 씬 모션으로부터 객체 속도를 복원한다.
• 시맨틱 정보를 활용하는 강력한 물체 추적 방법은 세분화 실패로 인한 간접 occlusion을 처리할 수 있다.
• VDO-SLAM은 실내 및 실외의 실제 데이터셋에서 최첨단 방법 대비 상당한 개선을 보인다.
• 이 접근법은 카메라 포즈, 정적/동적 구조, 그리고 전 6-DoF 객체 모션을 동시에 추정하는 전체 동적 SLAM 시스템을 제공한다.
• 연구자들을 위한 VDO-SLAM의 오픈 소스 구현이 제공된다.