[논문 리뷰] Simultaneous Localization and Mapping Related Datasets: A Comprehensive Survey

Yuanzhi Liu, Yujia Fu외 4명|arXiv (Cornell University)|2021. 02. 08.

Robotics and Sensor-Based Localization참고 문헌 222인용 수 10

한 줄 요약

이 논문은 SLAM 관련 데이터셋에 대한 종합적인 서베이를 제시하며, 수집 방법, 특성, 분류 기준 및 평가 기준을 분석한다. 기존 데이터셋의 한계를 규명하고 SLAM 작업에 대한 체계적인 분류 체계를 제안하며, SLAM 벤치마킹 및 연구의 재현 가능성을 향상시키기 위한 데이터셋 선택 및 향후 데이터셋 개발을 위한 실질적인 통찰을 제공한다.

ABSTRACT

Due to the complicated procedure and costly hardware, Simultaneous Localization and Mapping (SLAM) has been heavily dependent on public datasets for drill and evaluation, leading to many impressive demos and good benchmark scores. However, with a huge contrast, SLAM is still struggling on the way towards mature deployment, which sounds a warning: some of the datasets are overexposed, causing biased usage and evaluation. This raises the problem on how to comprehensively access the existing datasets and correctly select them. Moreover, limitations do exist in current datasets, then how to build new ones and which directions to go? Nevertheless, a comprehensive survey which can tackle the above issues does not exist yet, while urgently demanded by the community. To fill the gap, this paper strives to cover a range of cohesive topics about SLAM related datasets, including general collection methodology and fundamental characteristic dimensions, SLAM related tasks taxonomy and datasets categorization, introduction of state-of-the-arts, overview and comparison of existing datasets, review of evaluation criteria, and analyses and discussions about current limitations and future directions, looking forward to not only guiding the dataset selection, but also promoting the dataset research.

연구 동기 및 목표

• SLAM 관련 데이터셋에 대한 통합적이고 종합적인 서베이가 부족한 문제를 해결하기 위해 수집 방법, 특성 및 평가 기준을 포함하는 서베이를 수행한다.
• SLAM 알고리즘 평가 및 구현 성능에 영향을 줄 수 있는 기존 데이터셋의 편향과 한계를 규명한다.
• 연구자가 특정 연구 목표에 적합한 데이터셋을 선택할 수 있도록 도와주는 SLAM 작업 및 데이터셋에 대한 체계적인 분류 체계를 제공한다.
• 현재 평가 관행을 분석하고, 데이터셋 과도 사용으로 인한 일관성 문제나 과적합 위험을 밝혀낸다.
• 다양한 환경과 향상된 데이터 다양성을 포함한, 향후 데이터셋 개발을 위한 방향을 제안한다.

제안 방법

• 환경 유형, 센서 구성, 작업 관련성 기반으로 SLAM 관련 데이터셋을 체계적으로 수집 및 분류한다.
• 공간 규모, 센서 모odal리티, 주석 품질, 시간 해상도 등 다차원 프레임워크를 활용해 데이터셋 특성화를 수립한다.
• 비전, 라이다, 다중 센서 SLAM 등 SLAM 작업의 분류 체계를 제안하며, 데이터셋 기능과 연계한다.
• 정확도, 커버리지, 접근성 등 핵심 차원에서 50개 이상의 공개된 데이터셋을 검토하고 비교한다.
• 벤치마킹에서 사용되는 평가 프로토콜을 분석하여, 특정 데이터셋의 특성으로 인한 알고리즘 선호도 등 일반적인 함정을 규명한다.
• 환경 편향, 데이터 희소성, 실제 세계의 변동성 부족 등 데이터셋의 주요 한계를 비판적으로 검토한다.

실험 결과

연구 질문

• RQ1 기존 SLAM 관련 데이터셋의 기본적 특성과 수집 방법은 무엇인가?
• RQ2 현재 SLAM 데이터셋은 어떻게 분류되고 있으며, 어떤 작업에 가장 적합한가?
• RQ3 현재 SLAM 데이터셋의 주요 한계는 무엇이며, 알고리즘 평가 및 실제 세계 구현에 어떤 영향을 미치는가?
• RQ4 기존 평가 기준은 알고리즘 성능과 데이터셋 간 일반화 능력에 어떻게 영향을 미치는가?
• RQ5 더 이상 대표성 있고 다양한 SLAM 데이터셋을 만들기 위한 가장 유망한 향후 방향은 무엇인가?

주요 결과

• 많은 수의 널리 사용되는 SLAM 데이터셋은 환경적·센서적 편향을 보이며, 이로 인해 알고리즘 성능이 과대평가되고 과적합이 발생할 수 있다.
• 많은 데이터셋이 실내 또는 통제된 환경에 국한되어 있어, 실생활 외부 환경이나 장기적 구현에 대한 적용성이 떨어진다.
• 평가 프로토콜이 특정 알고리즘을 유리하게 작용시키는 경향이 있어 공정한 벤치마킹을 해칠 수 있다.
• 데이터셋 간 표준화된 메타데이터와 주석 품질의 부족으로 재현 가능성과 다중 데이터셋 비교가 어려운 상황이다.
• 기존 데이터셋은 장기 시퀀스, 동적 객체 주석, 다중 모odal 센서 동기화를 자주 누락하고 있어, 강건하고 일반화 가능한 SLAM 시스템 연구에 제약을 준다.
• 본 서베이에서는 다양한 실제 환경, 특히 외부 도시 환경 및 장기적 환경을 다루는 새로운 데이터셋의 필수적 필요성을 규명한다. 이는 풍부한 의미적 및 동적 주석을 포함해야 한다.