[논문 리뷰] Are We Ready for Service Robots? The OpenLORIS-Scene Datasets for Lifelong SLAM

Xuesong Shi, Dongjiang Li외 16명|arXiv (Cornell University)|2019. 11. 13.

Robotics and Sensor-Based Localization참고 문헌 24인용 수 19

한 줄 요약

이 논문은 실내 환경에서 RGB-D, 자이로스코프, LiDAR 센서를 사용하여 시간에 따라 변화하는 실제 장면을 캡처하는 라이프런 슬램(Lifelong SLAM)을 위한 OpenLORIS-Scene 데이터셋과 벤치마크를 소개한다. 새로운 평가 지표를 제안하여 국소화의 강건성과 정확도를 별도로 평가하며, 이는 기존 SLAM 시스템이 시점, 조도, 물체 변화에 대해 특히 재국소화 작업에서 심각한 어려움을 겪고 있음을 드러낸다.

ABSTRACT

Service robots should be able to operate autonomously in dynamic and daily changing environments over an extended period of time. While Simultaneous Localization And Mapping (SLAM) is one of the most fundamental problems for robotic autonomy, most existing SLAM works are evaluated with data sequences that are recorded in a short period of time. In real-world deployment, there can be out-of-sight scene changes caused by both natural factors and human activities. For example, in home scenarios, most objects may be movable, replaceable or deformable, and the visual features of the same place may be significantly different in some successive days. Such out-of-sight dynamics pose great challenges to the robustness of pose estimation, and hence a robot's long-term deployment and operation. To differentiate the forementioned problem from the conventional works which are usually evaluated in a static setting in a single run, the term extit{lifelong SLAM} is used here to address SLAM problems in an ever-changing environment over a long period of time. To accelerate lifelong SLAM research, we release the OpenLORIS-Scene datasets. The data are collected in real-world indoor scenes, for multiple times in each place to include scene changes in real life. We also design benchmarking metrics for lifelong SLAM, with which the robustness and accuracy of pose estimation are evaluated separately. The datasets and benchmark are available online at https://lifelong-robotic-vision.github.io/dataset/scene.

연구 동기 및 목표

• 장기적이고 동적인 실제 조건에서 SLAM 시스템 평가의 격차를 해소하기 위해, 특히 인간 활동과 환경 변화로 인한 장면 변화를 다루는 데 목적이 있다.
• 일부 장면에 대해 다수의 시퀀스를 제공하는 공개 데이터셋을 제공하여 조도, 시점, 이동 가능한 물체, 동적 요소의 시간적 변화를 캡처한다.
• 기존의 정확도 평가와는 별개로 국소화 강건성을 명시적으로 평가하는 새로운 벤치마크 지표를 도입한다.
• 통제된 및 통제되지 않은 장면 변화 상황에서 장기 슬램 알고리즘의 체계적 평가를 가능하게 하여 알고리즘의 약점을 특정한다.
• 서비스 로봇을 위한 향후 연구를 지원하기 위해 장기적 장면 이해, 점진적 학습, 시공간 모델링 분야의 연구를 지원한다.

제안 방법

• 다양한 모달리티의 센서 데이터(_RGB-D, 스테레오 피시아이언, IMU, 휠 오도메트리, LiDAR_)를 실내 장면에서 다수의 방문을 통해 수집하여 장면의 역동성을 캡처한다.
• 운동 캡처 시스템(MCS) 또는 LiDAR를 사용하여 고정밀 기준 자세를 확보하여 궤적 감시를 수행한다.
• 두 가지 핵심 평가 지표를 포함한 벤치마크를 설계: 정확도 평가를 위한 ATE(Absolute Trajectory Error)와 재국소화 성공률을 평가하기 위한 새로운 정확도 지표(C^{0.3,∞}S^{60}-R)를 활용하여 강건성을 평가한다.
• 단일 요인(예: 시점, 조도, 물체 유무 등)만 다름을 보장하는 시퀀스 쌍을 선택하여 통제된 실험을 수행하여 도전 과제를 분리한다.
• 표준 SLAM 알고리즘(ORB-SLAM2, DS-SLAM, VINS, InfiniTAMv2)을 데이터셋에 적용하고, 궤적 정렬을 통해 기준 자세와의 비교를 수행하여 평가한다.
• 일관된 파이프라인을 사용: SVD 기반 변환을 통해 추정 궤적을 기준 자세에 정렬한 후 오차 및 정확도 지표를 계산한다.

실험 결과

연구 질문

• RQ1 동일한 장면이 조명, 시점, 물체 구성이 크게 변화한 후 재방문했을 때 기존 SLAM 알고리즘의 재국소화 성능은 어떠한가?
• RQ2 시점, 조도, 물체 유무, 또는 동적 인원과 같은 환경 요소 중에서 어떤 것이 장기적 배치에서 SLAM의 강건성에 가장 심각하게 악영향을 미치는가?
• RQ3 현재 SLAM 시스템은 얼마나 큰 드리프트나 장면 변화 후에 재국소화에 실패하는가? 이는 센서 모달리티에 따라 어떻게 다를까?
• RQ4 제안된 정확도 지표는 큰 누적 드리프트 상황에서 강건한 국소화 성능과 취약한 성능을 효과적으로 구분할 수 있는가?
• RQ5 다른 센서 구성(예: RGB-D 대비 스테레오 피시아이언 대비 IMU)은 SLAM 시스템이 장기적 장면 변화를 다룰 능력에 어떤 영향을 미치는가?

주요 결과

• 대부분의 알고리즘이 '오피스'와 '마켓' 장면의 2번째에서 5번째 시퀀스에서 재국소화에 완전히 실패하여 실제 장면 변화 상황에서 심각한 강건성 문제를 보여준다.
• '오피스' 장면 실험 결과, 변화된 시점과 조도가 가장 도전적인 요소로 나타나며, 이 조건에서 ORB-SLAM2(스테레오)와 ORB-SLAM2(RGB-D)의 재국소화 점수가 0으로 떨어진다.
• DS-SLAM과 VINS(컬러)는 오직 물체만 변화했을 경우 높은 재국소화 점수(각각 0.994 및 0.997)를 기록하여 정적 물체 변화에 더 잘 대응하는 것으로 나타났다.
• VINS(피시아이언) 버전은 모든 통제된 요소에서 완전히 실패하여 광각 왜곡과 기하학적 변화에 민감하고 강건성이 떨어지는 것으로 나타났다.
• 정확도 지표는 장시간 궤적의 초기 및 최종 부분에서 잘못된 국소화를 효과적으로 식별하여, 큰 장면에서는 더 큰 ATE 임계값이 필요함을 시사한다.
• 결과적으로 현재 SLAM 시스템은 장면 변화가 미세한 조명 변화를 넘어서는 경우 실생활 장기적 배치에 충분히 강건하지 않음을 입증한다.