[논문 리뷰] DyOb-SLAM : Dynamic Object Tracking SLAM System

Rushmian Annoy Wadud, Wei Sun|arXiv (Cornell University)|2022. 11. 03.

Robotics and Sensor-Based Localization인용 수 5

한 줄 요약

DyOb-SLAM은 마스크-RCNN을 활용한 의미 분할과 고밀도 광학 흐름을 통한 운동 추정을 융합하여 실시간으로 카메라 위치 추정, 정적 환경 맵 작성, 그리고 동적 물체 추적을 동시에 수행하는 시각 SLAM 시스템이다. 이는 종래의 VDO-SLAM 대비 더 낮은 물체 속도 오차를 기록하며, 종합적으로는 끝에서 끝까지 신경망 기반 분할과 계산 오버헤드로 인해 약간 높은 자세 오차가 발생하더라도 동적 물체 속도 추정 성능이 향상됨을 입증한다.

ABSTRACT

Simultaneous Localization & Mapping (SLAM) is the process of building a mutual relationship between localization and mapping of the subject in its surrounding environment. With the help of different sensors, various types of SLAM systems have developed to deal with the problem of building the relationship between localization and mapping. A limitation in the SLAM process is the lack of consideration of dynamic objects in the mapping of the environment. We propose the Dynamic Object Tracking SLAM (DyOb-SLAM), which is a Visual SLAM system that can localize and map the surrounding dynamic objects in the environment as well as track the dynamic objects in each frame. With the help of a neural network and a dense optical flow algorithm, dynamic objects and static objects in an environment can be differentiated. DyOb-SLAM creates two separate maps for both static and dynamic contents. For the static features, a sparse map is obtained. For the dynamic contents, a trajectory global map is created as output. As a result, a frame to frame real-time based dynamic object tracking system is obtained. With the pose calculation of the dynamic objects and camera, DyOb-SLAM can estimate the speed of the dynamic objects with time. The performance of DyOb-SLAM is observed by comparing it with a similar Visual SLAM system, VDO-SLAM and the performance is measured by calculating the camera and object pose errors as well as the object speed error.

연구 동기 및 목표

• 기존 SLAM 시스템이 정적 환경을 전제로 하며 동적 물체를 忽시하는 한계를 해결하기 위해.
• 공유된 시나리오에서 정적 및 동적 요소를 모두 추적하고 맵핑할 수 있는 실시간 시각 SLAM 시스템을 개발하기 위해.
• 기존의 동적 인지 SLAM 시스템(VDO-SLAM 등)에 비해 물체 속도 추정 정확도를 향상시키기 위해.
• 의미 분할과 운동 추정을 SLAM 파이프라인에 직접 통합하여 동적 물체 처리의 강건성을 높이기 위해.

제안 방법

• 동적 물체의 인스턴스 수준 의미 분할을 위해 마스크-RCNN을 활용하여 정적 환경 요소와의 분리를 가능하게 한다.
• 밀도 높은 광학 흐름 및 시나리오 흐름 알고리즘을 적용하여 연속 프레임 간 동적 물체의 운동 벡터를 추정한다.
• 두 가지 별도의 맵을 유지한다: 버블 애드제스팅을 사용한 정적 특징의 희박한 맵과 동적 물체를 위한 전역 궤적 맵.
• 국소 맵 업데이트를 위해 부분 배치 최적화를, 최종 전역 맵 정밀화를 위해 전체 배치 최적화를 적용한다.
• 물체 ID 할당 및 경계 상자 추적을 통합하여 각 프레임에서의 동적 물체 자세 및 속도 추정을 가능하게 한다.
• 입력 프레임을 실시간으로 처리하여 검출된 물체에 속도 값과 시각적 애너테이션을 부여하고, 출력 프레임에 표시한다.

실험 결과

연구 질문

• RQ1 시각 SLAM 시스템은 정확한 카메라 위치 추정과 정적 맵 재구성 유지 조건에서 동적 물체를 효과적으로 구분하고 추적할 수 있는가?
• RQ2 마스크-RCNN를 활용한 종단 간 의미 분할이 SLAM 내 동적 물체 자세 및 속도 추정 정확도에 어떤 영향을 미치는가?
• RQ3 SLAM 파이프라인에 딥 러닝 모델(예: 마스크-RCNN)을 통합할 경우 계산 비용과 추적 정확도 사이의 상충 관계는 어떠한가?
• RQ4 특히 깊이 정보 부족 및 가림 현상이 발생하는 조건에서, DyOb-SLAM은 VDO-SLAM에 비해 물체 속도 추정 오차 측면에서 어떻게 비교되는가?
• RQ5 뉴럴 네트워크 기반 분할 기법의 사용이 실제 동적 환경에서의 동적 물체 추적 성능 향상에 어느 정도 기여하는가?

주요 결과

• DyOb-SLAM은 VDO-SLAM 대비 약간 높은 평균 카메라 및 물체 자세 오차를 보이며, 이는 이동 오차 차이가 0.003–0.005이고, 회전 오차 차이가 0.007–0.017 범위에 이르는 것으로 나타났다.
• 물체 자세 오차는 이동 오차 차이가 0.009–0.03이고, 회전 오차 차이가 0.05–0.17이며, 첫 번째 반복에서 후속 반복에 비해 오차가 더 높은 경향을 보였다.
• 자세 오차가 높음에도 불구하고 DyOb-SLAM은 물체 속도 오차가 상당히 낮게 나타나, VDO-SLAM 대비 0.96–1.20 범위에서 더 낮은 오차를 기록하여 우수한 속도 추정 성능을 입증하였다.
• 근접한 거리의 동적 물체에서 깊이의 모호성으로 인해 깊이 값이 겹쳐지면서 분할 및 추적 오류가 발생하는 것으로 나타났다.
• 마스크-RCNN 통합으로 인해 VDO-SLAM이 사전 처리된 진짜 분할을 기반으로 하는 것에 비해 계산 비용이 증가하였다.
• 물체 속도는 매 프레임에서 계산되어 경계 상자와 함께 표시되지만, 깊이 척도를 벗어나면 추적에 실패하여 지속적인 속도 측정이 제한된다.