[논문 리뷰] SLAMBench2: Multi-Objective Head-to-Head Benchmarking for Visual SLAM

Bruno Bodin, Harry Wagstaff외 10명|arXiv (Cornell University)|2018. 08. 21.

Robotics and Sensor-Based Localization참고 문헌 29인용 수 16

한 줄 요약

SLAMBench2는 공개적으로 이용할 수 있고 확장성이 있는 벤치마킹 프레임워크로, 다양한 데이터셋, 알고리즘, 하드웨어 플랫폼 간에 재현 가능하고 다목적 비교를 가능하게 한다. 이 프레임워크는 정확도(ATE), 메모리 사용량, 실행 시간과 같은 표준화된 메트릭을 사용하여 ORB-SLAM2, KinectFusion, ElasticFusion, InfiniTAM 등 8종의 최신 SLAM 알고리즘을 지원하며, ORB-SLAM2가 CPU 전용 플랫폼에서 평균 ATE 30 cm의 뛰어난 균형을 보이며 GPU 가속 대비 2배 빠른 속도를 기록하는 등 핵심적인 성능 상충 관계를 드러낸다.

ABSTRACT

SLAM is becoming a key component of robotics and augmented reality (AR) systems. While a large number of SLAM algorithms have been presented, there has been little effort to unify the interface of such algorithms, or to perform a holistic comparison of their capabilities. This is a problem since different SLAM applications can have different functional and non-functional requirements. For example, a mobile phonebased AR application has a tight energy budget, while a UAV navigation system usually requires high accuracy. SLAMBench2 is a benchmarking framework to evaluate existing and future SLAM systems, both open and close source, over an extensible list of datasets, while using a comparable and clearly specified list of performance metrics. A wide variety of existing SLAM algorithms and datasets is supported, e.g. ElasticFusion, InfiniTAM, ORB-SLAM2, OKVIS, and integrating new ones is straightforward and clearly specified by the framework. SLAMBench2 is a publicly-available software framework which represents a starting point for quantitative, comparable and validatable experimental research to investigate trade-offs across SLAM systems.

연구 동기 및 목표

• 일관되지 않은 인터페이스, 데이터셋, 하드웨어, 파ameter 설정으로 인해 시각적 SLAM 시스템에 대한 표준화되고 비교 가능하며 재현 가능한 평가의 부족을 해결하기 위해.
• SLAM 알고리즘을 비교하기 위한 반복적인 엔지니어링 작업을 줄이기 위해 통합된 플러그인 방식의 벤치마킹 환경을 제공하기 위해.
• 오픈소스 및 프라이버트 SLAM 시스템 간의 공정하고 정량적이며 검증 가능한 성능 비교를 가능하게 하기 위해.
• 명확히 정의된 API를 통해 새로운 알고리즘과 데이터셋을 최소한의 노력으로 통합할 수 있도록 확장성을 지원하기 위해.
• 다양한 SLAM 시스템과 플랫폼 간에 정확도, 메모리 소비량, 계산 효율성 간의 상충 관계를 다목적 분석할 수 있도록 하기 위해.

제안 방법

• 이 프레임워크는 다수의 SLAM 알고리즘을 표준화된 API를 통해 지원하는 모듈식이며 데이터셋에 종속되지 않는 아키텍처를 제공하여 다양한 시스템 간 일관된 평가를 가능하게 한다.
• 스pars한(예: ORB-SLAM2, PTAM), 반밀도(예: InfiniTAM), 밀도 높은(예: KinectFusion, ElasticFusion) 방법을 포함한 8종의 최신 SLAM 알고리즘을 지원한다.
• 절대 궤적 오차(ATE), 메모리 소비량, 실행 시간의 세 가지 핵심 메트릭을 사용하여 ICL-NUIM 및 TUM 시퀀스를 포함한 여덟 개의 데이터셋에서 평가를 수행한다.
• 프레임워크는 CPU 및 GPU 실행을 모두 지원하며, 메트릭의 변동을 시각화하기 위해 바이올린 플롯을 사용한다.
• 신규 알고리즘은 약 350줄의 코드로 구성된 경량 라이브러리 인터페이스를 통해 통합되며, ORB-SLAM2의 경우 파라미터 선언 및 설정 함수 포함.
• 알고리즘 간 동일한 입력 형식, 캘리브레이션, 파라미터 설정을 보장함으로써 설정 편향을 최소화하고 직접 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋과 하드웨어 플랫폼에서 다양한 시각적 SLAM 알고리즘이 정확도, 메모리 사용량, 실행 시간 측면에서 어떻게 비교되는가?
• RQ2 최신 SLAM 시스템에서 계산 효율성과 정위치 정확도 간의 상충 관계는 어떠한가?
• RQ3 구조적 변경 없이 파라미터 튜닝이 성능 향상에 얼마나 기여할 수 있으며, 이는 알고리즘 간에 어떻게 다를까?
• RQ4 CPU 기반 SLAM 시스템인 ORB-SLAM2의 성능은 GPU 가속 시스템인 KinectFusion 및 ElasticFusion와 비교해 어떻게 되는가?
• RQ5 통합된 벤치마킹 프레임워크는 SLAM 시스템 비교에 필요한 엔지니어링 오버헤드를 줄일 수 있을까? 동시에 재현 가능성과 타당성은 보장되는가?

주요 결과

• ORB-SLAM2는 여러 데이터셋에서 평균 절대 궤적 오차(ATE) 30 cm를 기록하여 CPU 전용 플랫폼에서 뛰어난 정확도를 보였다.
• KinectFusion과 InfiniTAM은 정적 메모리 소비를 보였고, ORB-SLAM2의 메모리 사용량은 모든 데이터셋에서 300 MB 이내로 제한되었다.
• ElasticFusion은 최대 30 cm의 드리프트를 보이며 KinectFusion 및 InfiniTAM을 능가했으며, 일부 데이터셋에서는 이들의 드리프트가 최대 60 cm까지 증가할 수 있었다.
• TK1 플랫폼에서 ORB-SLAM2는 GPU 가속 대비 두 배 빠른 속도를 기록했으며, 이는 CPU 전용 시스템임에도 불구하고 높은 효율성을 보여주는 바이다.
• 파라미터 튜닝을 통해 기본 설정 대비 최대 8배의 속도 향상을 기록했으며, 구성 최적화를 통한 높은 성능 잠재력을 입증했다.
• 프레임워크는 8개의 데이터셋과 3개의 메트릭을 기반으로 SLAM 시스템 간 직접적이고 공정한 비교를 가능하게 하여, ORB-SLAM2가 CPU 플랫폼에서 정확도와 속도 사이의 유리한 상충 관계를 제공함을 드러냈다.