[논문 리뷰] Characterizing SLAM Benchmarks and Methods for the Robust Perception Age

Wenkai Ye, Yipu Zhao외 1명|arXiv (Cornell University)|2019. 05. 19.

Robotics and Sensor-Based Localization참고 문헌 35인용 수 6

한 줄 요약

이 논문은 자세 추적 오차 군집화와 슬로우 모션 ROS 백업 재생을 사용하여 상태 기반 SLAM 알고리즘의 성능 저하 원인을 규명하기 위해 의사결정 트리 프레임워크를 제안한다. 주요 기여는 장기적인 시퀀스와 높은 운동 역학을 포함한 주요 실패 요인을 규명한 데이터 기반 SLAM 취약성 분석이며, 특히 DSO와 ORB는 급격한 운동 조건에서 서로 다른 내성 특성을 보여준다.

ABSTRACT

The diversity of SLAM benchmarks affords extensive testing of SLAM algorithms to understand their performance, individually or in relative terms. The ad-hoc creation of these benchmarks does not necessarily illuminate the particular weak points of a SLAM algorithm when performance is evaluated. In this paper, we propose to use a decision tree to identify challenging benchmark properties for state-of-the-art SLAM algorithms and important components within the SLAM pipeline regarding their ability to handle these challenges. Establishing what factors of a particular sequence lead to track failure or degradation relative to these characteristics is important if we are to arrive at a strong understanding for the core computational needs of a robust SLAM algorithm. Likewise, we argue that it is important to profile the computational performance of the individual SLAM components for use when benchmarking. In particular, we advocate the use of time-dilation during ROS bag playback, or what we refer to as slo-mo playback. Using slo-mo to benchmark SLAM instantiations can provide clues to how SLAM implementations should be improved at the computational component level. Three prevalent VO/SLAM algorithms and two low-latency algorithms of our own are tested on selected typical sequences, which are generated from benchmark characterization, to further demonstrate the benefits achieved from computationally efficient components.

연구 동기 및 목표

• 기존 SLAM 벤치마크를 체계적으로 분석하고, 추적 실패 또는 성능 저하를 유도하는 가장 도전적인 성질을 규명하기 위해.
• 시간 지연(slo-mo) ROS 백업 재생을 활용해 SLAM 구성 요소의 계산 성능을 프로파일링하여 지연 관련 병목 현상을 규명하기 위해.
• 운동 역학, 지속 시간 등 시퀀스 수준의 성질과 SLAM 알고리즘 성능 간의 관계를 군집화 및 의사결정 트리 기반으로 정량화하기 위해.
• 미래 연구를 이끌기 위해 SLAM 파이프라인의 구조적 취약성을 규명하고 급격한 운동 조건과 장기 운영 조건에서의 내성 향상을 우선순위에 두기 위해.
• SLAM 벤치마크에서 주관적인 난이도 주석의 정량적 대안을 제시하기 위해.

제안 방법

• 플랫폼, 장면, 지속 시간, 운동 역학, 환경 역학, 재방문 빈도, 주관적 난이도 등으로 특성화된 13개의 벤치마크 시퀀스에 대한 메타 분석을 수행하였다.
• 300개의 알고리즘-시퀀스 관측값(3개 알고리즘 × 100개 시퀀스)에 K-means++ 군집화를 적용하여 추적 실패율과 상대 자세 오차(RPE) 기반으로 실패, 저성능, 중간성능, 고성능의 네 가지 성능 범주를 정의하였다.
• 군집화된 성능 데이터에서 각 알고리즘 전용 의사결정 트리를 구축하여 각 SLAM 방법의 성공에 영향을 미치는 주요 시퀀스 성질을 규명하였다.
• ROS 백업 재생 중 시간 지연을 적용하여 '슬로우 모션 재생(slo-mo playback)'을 도입함으로써 계산 지연을 측정하고 처리 시간에 기인한 성능 한계를 규명하였다.
• 모든 데이터를 통합하여 통합 의사결정 트리를 생성하고, 이전 분석에서 도출된 주관적 레이블 트리와 비교하여 정량적 일관성을 검증하였다.
• RPE 값을 정규화하고 2 m/s로 포화 처리하여 군집화 시 편향을 방지하고 성능 분류의 강건성을 확보하였다.

실험 결과

연구 질문

• RQ1 운동 역학, 지속 시간, 장면 유형 등의 시퀀스 수준 성질 중에서 SLAM 실패 또는 성능 저하에 가장 크게 기여하는 요소는 무엇인가?
• RQ2 슬로우 모션 ROS 백업 재생을 통해 측정한 계산 지연은 SLAM 알고리즘 성능에 어떤 영향을 미치며, 파이프라인 내에서 핵심 병목 현상은 어디에 위치하는가?
• RQ3 정량적 성능 데이터(RPE 및 추적 실패율 등) 기반으로 학습된 의사결정 트리가 기존 벤치마크의 주관적 난이도 주석과 얼마나 일치하는가?
• RQ4 DSO, SVO, ORB 등의 다양한 SLAM 알고리즘이 운동 역학과 시퀀스 길이 등의 핵심 벤치마크 성질에 대해 어떻게 민감도를 보이는가?
• RQ5 현재 SLAM 파이프라인에서 가장 두드러진 구조적 취약성은 무엇이며, 향후 연구에서 내성 향상을 위해 우선적으로 고려해야 할 요소는 무엇인가?

주요 결과

• 운동 역학은 의사결정 트리의 알고리즘 전용 및 통합 트리에서 항상 1위로 가장 중요한 요소로 나타났다.
• 시퀀스 지속 시간은 추적 정확도에 큰 영향을 미치며, 특히 SVO는 드리프트와 지도 유지 문제로 인해 장기 시퀀스에 매우 민감한 것으로 나타났다.
• DSO는 높은 운동 역학 조건에서 실패했지만 ORB는 내성적으로 우수한 성능 유지를 보여, 알고리즘 설계의 차이가 급격한 운동 조건에서 성능에 큰 영향을 미친다.
• SVO는 높은 내성성을 보였으며, 의사결정 트리에 '실패' 리프 노드가 존재하지 않아 초기화가 성공하면 추적을 유지하는 것으로 나타났다. 다만 장기 시퀀스에서는 정확도 저하가 발생하였다.
• 정량적 결과 기반의 통합 의사결정 트리가 이전 분석에서 도출된 주관적 레이블 트리의 구조와 매우 유사하게 나타나, 본 방법의 신뢰성을 검증하였다.
• 슬로우 모션 재생을 통해 계산 지연이 성능 저하의 핵심 요인임을 규명하였으며, 특히 처리 시간이 프레임 간격을 초과할 경우 두드러지게 나타나 구성 요소 수준의 최적화가 필요함을 시사하였다.