[논문 리뷰] Semantic Visual Simultaneous Localization and Mapping: A Survey

Kaiqi Chen, Xiao, Junhao외 7명|arXiv (Cornell University)|2022. 09. 14.

Robotics and Sensor-Based Localization인용 수 9

한 줄 요약

이 종합 검토는 의미적 시각 SLAM(vSLAM)에 대한 포괄적인 개요를 제공하며, 의미 정보 추출 및 연관 기법, 국소화 및 맵핑 응용, 최신 데이터셋을 검토한다. 이는 의미적 vSLAM을 기존 vSLAM과 비교하여 딥 러닝 기반의 의미 이해와 다중 모odal 융합을 통해 동적이고 복잡한 환경에서의 강인성과 정확도 향상을 강조한다.

ABSTRACT

Visual Simultaneous Localization and Mapping (vSLAM) has achieved great progress in the computer vision and robotics communities, and has been successfully used in many fields such as autonomous robot navigation and AR/VR. However, vSLAM cannot achieve good localization in dynamic and complex environments. Numerous publications have reported that, by combining with the semantic information with vSLAM, the semantic vSLAM systems have the capability of solving the above problems in recent years. Nevertheless, there is no comprehensive survey about semantic vSLAM. To fill the gap, this paper first reviews the development of semantic vSLAM, explicitly focusing on its strengths and differences. Secondly, we explore three main issues of semantic vSLAM: the extraction and association of semantic information, the application of semantic information, and the advantages of semantic vSLAM. Then, we collect and analyze the current state-of-the-art SLAM datasets which have been widely used in semantic vSLAM systems. Finally, we discuss future directions that will provide a blueprint for the future development of semantic vSLAM.

연구 동기 및 목표

• 의미적 vSLAM의 발전을 체계적으로 검토하고, 동적이고 복잡한 환경에서 기존 vSLAM에 비해 가지는 장점을 분석한다.
• vSLAM 시스템 내에서 의미 정보 추출, 연관 및 활용 과정에서 발생하는 핵심 과제를 분석한다.
• 의미적 vSLAM 연구에 관련된 30개의 오픈소스 SLAM 데이터셋을 수집, 평가 및 비교한다.
• 의미적 vSLAM 분야의 열린 문제점과 향후 연구 방향, 특히 다중 모달 센서 융합 및 다중 로봇 협업 측면에서의 문제점을 규명하고 논의한다.
• 30개의 의미적 vSLAM 시스템을 상세히 비교하여 기술적 접근 방식과 성능 특성에 중점을 둔다.

제안 방법

• 의미 정보 추출을 위한 딥 러닝 기반 기법(예: 객체 탐지, 의미 세그멘테이션, 인스턴스 세그멘테이션)을 분류하고 검토한다.
• 기하학적 및 의미적 제약(예: 거리, 방향, 외관)을 활용해 시간과 시야 간 관측을 연결하는 의미 연관 기법을 분석한다.
• 의미 정보를 vSLAM 파이프라인에 통합하여 국소화 및 맵핑 성능을 향상시키는 방법을 평가하며, 픽셀 수준 및 객체 수준의 의미 맵 구축을 포함한다.
• 의미 주석, 센서 구성 및 의미적 vSLAM 연구에의 적합성 기준에 따라 30개의 오픈소스 SLAM 데이터셋을 검토 및 분류한다.
• 정확도, 강인성, 계산 부담 측면에서 기존 vSLAM과 의미적 vSLAM을 비교하여 도전적인 환경에서의 성능 향상을 강조한다.
• 다중 모달 센서 융합(예: RGB-D, 라이다, 레이더, 이벤트 카메라) 및 다중 로봇 협업 의미적 vSLAM 시스템과 같은 신규 추세를 탐색한다.

실험 결과

연구 질문

• RQ1 의미적 vSLAM 시스템은 동적이고 무문자 환경에서 기존 vSLAM에 비해 국소화 정확도와 강인성을 어떻게 향상시키는가?
• RQ2 실시간 vSLAM 시스템에서 의미 정보를 실시간으로 추출하고 연관짓는 데 가장 효과적인 딥 러닝 기법은 무엇인가?
• RQ3 동일 카테고리의 다수의 객체 또는 가림을 겪는 객체가 존재할 경우, 객체 연관 및 의미 맵 일관성 유지를 위한 주요 과제는 무엇인가?
• RQ4 다중 모달 센서 융합과 다중 로봇 협업은 의미적 vSLAM 시스템의 성능과 신뢰성을 어떻게 향상시키는가?
• RQ5 의미적 vSLAM의 현재 한계점과 열린 연구 방향은 무엇인가? 특히 센서 융합, 실시간 처리, 환경 간 일반화 능력 측면에서 논의한다.

주요 결과

• 딥 러닝 기반의 인식에서 유도된 의미 제약을 활용함으로써 의미적 vSLAM 시스템은 동적이고 무문자 환경에서 국소화의 강인성을 크게 향상시킨다.
• 의미 정보 추출에 주로 사용되는 딥 러닝 기법은 객체 탐지, 의미 세그멘테이션, 인스턴스 세그멘테이션이며, 인스턴스 세그멘테이션은 가장 정밀한 객체 수준의 이해를 제공한다.
• 의미 정보 통합은 픽셀 수준 및 객체 수준의 의미 맵 구축을 가능하게 하여 장면 이해 및 주행 능력을 향상시킨다.
• RGB, 깊이, 라이다, 레이더, 이벤트 카메라 등의 다중 모달 센서 융합은 객체 인식을 향상시키고, 특히 가림이나 조도 변화 상황에서 객체 연관의 모호성을 줄인다.
• 다중 로봇 협업 의미적 vSLAM 시스템은 다중 시야 관측으로 인해 객체 연관성과 전역 일관성을 향상시키지만, 계산 및 동기화 복잡도 증가를 수반한다.
• 본 검토에서는 의미적 vSLAM 시스템 30종과 관련 데이터셋 30종을 규명하였으며, 최근 연구(2018–2022) 대부분은 엔드 투 엔드 학습, 실시간 성능, 실제 환경에서의 강인성에 초점을 맞추고 있다.