[논문 리뷰] Multi-modal Semantic SLAM for Complex Dynamic Environments

Han Wang, Jing Ying Ko외 1명|arXiv (Cornell University)|2022. 05. 09.

Robotics and Sensor-Based Localization인용 수 5

한 줄 요약

이 논문은 복잡한 동적 환경에서의 강인성을 향상시키기 위해 기하학적 클러스터링과 시각적 의미 분할을 융합하는 다중모달 의미 SLAM 프레임워크를 제안한다. '보는 순간 생각하는' 메커니즘을 통해 특징 표현을 강화하고 다중모달 신호를 통합함으로써, 기준선 대비 국소화 오차를 59% 감소시켰으며, 정확한 동적 객체 거부 및 조밀한 정적 맵핑을 실현한 채 실시간 성능(10 Hz 이상)을 달성하였다.

ABSTRACT

Simultaneous Localization and Mapping (SLAM) is one of the most essential techniques in many real-world robotic applications. The assumption of static environments is common in most SLAM algorithms, which however, is not the case for most applications. Recent work on semantic SLAM aims to understand the objects in an environment and distinguish dynamic information from a scene context by performing image-based segmentation. However, the segmentation results are often imperfect or incomplete, which can subsequently reduce the quality of mapping and the accuracy of localization. In this paper, we present a robust multi-modal semantic framework to solve the SLAM problem in complex and highly dynamic environments. We propose to learn a more powerful object feature representation and deploy the mechanism of looking and thinking twice to the backbone network, which leads to a better recognition result to our baseline instance segmentation model. Moreover, both geometric-only clustering and visual semantic information are combined to reduce the effect of segmentation error due to small-scale objects, occlusion and motion blur. Thorough experiments have been conducted to evaluate the performance of the proposed method. The results show that our method can precisely identify dynamic objects under recognition imperfection and motion blur. Moreover, the proposed SLAM framework is able to efficiently build a static dense map at a processing rate of more than 10 Hz, which can be implemented in many practical applications. Both training data and the proposed method is open sourced at https://github.com/wh200720041/MMS_SLAM.

연구 동기 및 목표

• 이동하는 물체로 인해 드리프트와 맵핑 오류가 발생하는 전통적 SLAM의 한계를 해결하기 위해.
• 운동 블러, 가림, 소형 물체 등의 도전적인 조건 하에서의 인스턴스 분할 강인성을 향상시키기 위해.
• 다중모달 의미 정보를 활용해 동적 요소와 정적 요소를 분리하는 실시간이고 계산 효율적인 SLAM 시스템을 개발하기 위해.
• 이동하는 인간과 AGV가 존재하는 스마트 팩토리와 같은 복잡한 산업 환경에서 신뢰할 수 있고 조밀한 의미 맵핑을 가능하게 하기 위해.

제안 방법

• 더 강력한 객체 특징 표현을 학습하기 위해 '보는 순간 생각하는' 메커니즘을 백본 네트워크에 통합하여 분할 정확도를 향상시킨다.
• 기하학적 클러스터링만을 사용하는 것과 시각적 의미 분할을 융합하여 2D 인스턴스 분할의 불완전성에 대한 의존도를 줄인다.
• 다중모달 인식을 SLAM 파이프라인에 통합하여 동적 객체를 걸러내고 정확한 국소화를 유지한다.
• SOLOv2 기반의 인스턴스 분할을 통해 시각적 의미 인식을 수행하며, 다중 스케일 특징 학습과 주의 메커니즘을 통해 강화한다.
• 이중 단계 필터링 전략을 적용한다: 첫 번째로 딥러닝을 통해 동적 객체를 분할하고, 두 번째로 기하학적 일관성에 의해 검증 및 보완한다.
• 검출된 동적 객체를 제거하면서도 의미 레이블과 경계 상자 정보를 유지하여 조밀한 3D 정적 맵을 구축한다.

실험 결과

연구 질문

• RQ1 시각적 및 기하학적 신호의 다중모달 융합은 동적 환경에서 의미 SLAM의 강인성을 어떻게 향상시키는가?
• RQ2 '보는 순간 생각하는' 메커니즘이 객체 특징 표현과 분할 정확도에 얼마나 기여하는가?
• RQ3 기하학적 클러스터링만으로도 운동 블러와 가림으로 인한 분할 오류를 효과적으로 줄일 수 있는가?
• RQ4 시각 전용 및 기준선 SLAM 대비 동적 조건 하에서 국소화 오차 측면에서 제안된 방법은 얼마나 우수한가?
• RQ5 고정밀 동적 객체 탐지 및 정적 맵핑을 달성하면서도 실시간 성능(>10 Hz)을 유지할 수 있는가?

주요 결과

• 제안된 다중모달 SLAM은 평균 이동 오차 오차(ATDE)를 0.875 cm로 줄여 기준선(4.834 cm) 대비 59% 향상시켰다.
• 최대 이동 오차 오차(MTDE)는 0.502 cm로 감소하여 시각 전용 접근법(0.667 cm)과 기준선(1.877 cm)을 크게 앞서며 성능을 뛰어나게 했다.
• 시스템은 10 Hz 이상의 실시간 처리를 달성하여 스마트 팩토리와 같은 동적 산업 환경에서의 실용적 구현을 가능하게 하였다.
• 인간과 AGV와 같은 동적 객체가 정확하게 탐지되어 정적 맵에서 제거되었으며, 실시간 경계 상자와 색상 코드 기반 상태 시각화(빨간색: 인간, 초록색: AGV)를 제공하였다.
• 절단 실험과 실제 AGV 실험을 통해 운동 블러, 가림, 소형 물체로 인한 드리프트를 효과적으로 완화하는 것으로 입증되었다.
• 오픈소스 구현체는 https://github.com/wh200720041/MMS_SLAM 에 공개되어 재현성과 향후 연구를 지원한다.