[논문 리뷰] Multi-Modal Lidar Dataset for Benchmarking General-Purpose Localization and Mapping Algorithms

Qingqing Li, Xianjia Yu외 2명|arXiv (Cornell University)|2022. 03. 07.

Remote Sensing and LiDAR Applications인용 수 4

한 줄 요약

이 논문은 모션 캡처(MOCAP) 시스템을 통해 밀리미터 이내 정확도를 확보한 실내, 실외, 숲, 도시 환경에서 수집된 다중 모달 라이다 데이터셋을 소개한다. 이 데이터셋은 다섯 종류의 라이다 센서—스피닝(16, 64, 128채널) 및 솔리드 스테이트(Livox Horizon, Avia)—와 라이다 카메라를 포함하고 있으며, 일반 목적의 SLAM 알고리즘의 벤치마킹을 가능하게 한다. 분석 결과, 솔리드 스테이트 라이다는 숲과 같은 외부 환경에서 스피닝 라이다를 능가하며 평균 절대 궤적 오차(ATE)가 4cm로 뛰어난 성능을 보였지만, 스피닝 라이다는 전체 시야를 커버함으로써 실내 환경에서 더 뛰어난 내구성을 유지한다.

ABSTRACT

Lidar technology has evolved significantly over the last decade, with higher resolution, better accuracy, and lower cost devices available today. In addition, new scanning modalities and novel sensor technologies have emerged in recent years. Public datasets have enabled benchmarking of algorithms and have set standards for the cutting edge technology. However, existing datasets are not representative of the technological landscape, with only a reduced number of lidars available. This inherently limits the development and comparison of general-purpose algorithms in the evolving landscape. This paper presents a novel multi-modal lidar dataset with sensors showcasing different scanning modalities (spinning and solid-state), sensing technologies, and lidar cameras. The focus of the dataset is on low-drift odometry, with ground truth data available in both indoors and outdoors environment with sub-millimeter accuracy from a motion capture (MOCAP) system. For comparison in longer distances, we also include data recorded in larger spaces indoors and outdoors. The dataset contains point cloud data from spinning lidars and solid-state lidars. Also, it provides range images from high resolution spinning lidars, RGB and depth images from a lidar camera, and inertial data from built-in IMUs. This is, to the best of our knowledge, the lidar dataset with the most variety of sensors and environments where ground truth data is available. This dataset can be widely used in multiple research areas, such as 3D LiDAR simultaneous localization and mapping (SLAM), performance comparison between multi-modal lidars, appearance recognition and loop closure detection. The datasets are available at: https://github.com/TIERS/tiers-lidars-dataset.

연구 동기 및 목표

• 일반 목적의 정렬 및 맵핑 알고리즘을 평가하기 위해 정확한 기준값을 갖춘 다양한 다중 모달 라이다 데이터셋이 부족한 문제를 해결하기 위해.
• 다양한 라이다 유형(고해상도 스피닝, 솔리드 스테이트, 라이다-카메라 센서 포함)을 포함함으로써 센서에 종속되지 않는 SLAM 연구를 지원하기 위해.
• 실내 및 실외 환경에서 다양한 스캐닝 모달리티, 시야 제약, 스캔 패턴 간의 성능 비교를 가능하게 하기 위해.
• 기존 데이터셋에서 미흡하게 다뤄지는 숲과 같은 도전적인 환경에서 고정밀 기준값을 제공함으로써, 이러한 환경에서의 연구를 지원하기 위해.
• 비정형적이고 특징이 희박한 환경에서의 다중 센서 융합 및 강력한 라이다 오도메트리 연구를 촉진하기 위해.

제안 방법

• 다섯 대의 서로 다른 라이다 센서와 한 대의 라이다 카메라를 통합한 다중 모달 데이터 수집 플랫폼을 사용하여 데이터셋을 수집하였으며, 각 센서는 고유한 스캐닝 모달리티와 시야 특성을 지닌다.
• 실내 및 실외 환경에서 밀리미터 이내 정밀도를 갖춘 고정밀 모션 캡처(MOCAP) 시스템을 사용해 기준값 궤적을 기록하였다.
• 데이터셋에는 스피닝 라이다(예: VLP-16, OS1-64, OS1-128)의 동기화된 포인트 클라우드, 고해상도 스피닝 라이다의 레인지 이미지, RealSense L515 라이다 카메라의 RGB/깊이 이미지가 포함되어 있다.
• 라이다 내장된 인ertial 측정 장치(IMU)에서 기록된 관성 데이터도 포함되어 있어, 타이트하게 결합된 SLAM 및 운동 보정을 지원한다.
• 장거리 성능과 맵핑 품질 평가를 위해 대규모 실내 홀과 도시 도로에서의 시퀀스도 포함되어 있다.
• 표준 SLAM 알고리즘(예: LeGo-LOAM, FLIO, LIOL)을 다양한 센서 데이터에 적용하여 센서 유형과 환경 간의 성능을 정량적으로 비교하였다.

실험 결과

연구 질문

• RQ1 일반 목적의 SLAM 알고리즘이 다양한 환경에서 솔리드 스테이트 라이다와 스피닝 라이다에 적용되었을 때의 성능은 어떻게 되는가?
• RQ2 제한된 시야와 반복되지 않는 스캔 패턴이 라이다 기반 오도메트리 및 맵핑의 정확도와 안정성에 미치는 영향은 무엇인가?
• RQ3 솔리드 스테이트 라이다는 숲과 같은 외부 환경에서 특징이 희박한 조건에서 스피닝 라이다와 유사하거나 더 뛰어난 성능을 낼 수 있는가?
• RQ4 스피닝 라이다의 수직 해상도와 스캔 밀도가 증가함에 따라 SLAM 알고리즘의 성능은 어떻게 변화하는가?
• RQ5 기존 SLAM 알고리즘이 복잡한 실내 환경에서 솔리드 스테이트 라이다 데이터에 적용되었을 때, 얼마나 자주 실패하거나 발산하는가?

주요 결과

• 숲과 같은 외부 환경(Forest01, Forest02, Road02)에서 솔리드 스테이트 라이다 기반 SLAM 시스템, 특히 Horizon 라이다를 사용한 LIOL은 평균 절대 궤적 오차(ATE)가 단 4cm에 불과하여 정확도 측면에서 스피닝 라이다를 능가하였다.
• Indoor01 및 Indoor02와 같은 실내 환경에서는 모든 솔리드 스테이트 라이다 기반 SLAM 시스템에서 심한 드리프트가 발생하였으며, Horizon 기반 LIOL은 첫 번째 루프 조차 재구성하지 못하였다. 반면 스피닝 라이다 기반 방법은 안정적이고 정확하였다.
• 더 높은 수직 해상도를 지닌 스피닝 라이다(예: OS1-128)는 실내 환경에서 더 낮은 ATE를 보이며, 기하학적 커버리지가 증가할수록 특징이 희박하고 구조화된 실내 환경에서의 내구성이 향상됨을 확인하였다.
• 장대한 복도 시퀀스(Indoor04)에서는 OS1 기반 FLIO가 각도 드리프트를 보였고, Horizon 및 Avia 기반 알고리즘은 발산하였다. 이는 제한된 실내 공간에서 장시간 운동을 수행할 경우 솔리드 스테이트 라이다 SLAM의 불안정성을 시사한다.
• 맵핑 품질 분석 결과, 솔리드 스테이트 라이다 데이터에 LIOL를 적용한 결과, 기본 설정값과 하이퍼파rameter 튜닝 없이도 도시 및 개방 도로 환경에서 가장 세밀하고 명확한 맵을 생성하였다.
• 이 데이터셋은 스피닝 라이다와 솔리드 스테이트 라이다 간의 명확한 성능 격차를 보여주었다. 스피닝 라이다는 다양한 환경에서 더 뛰어난 내구성을 보이며, 솔리드 스테이트 라이다는 특정 외부 환경에서 뛰어난 비용 대비 성능을 제공한다.