[논문 리뷰] Robust Keyframe-based Dense SLAM with an RGB-D Camera

Haomin Liu, Chen Li외 4명|arXiv (Cornell University)|2017. 11. 14.

Robotics and Sensor-Based Localization참고 문헌 39인용 수 14

한 줄 요약

RKD-SLAM은 단일 CPU에서 실시간으로 드리프트 없는 3D 재구성과 고정밀 추적을 가능하게 하는 강력한 키프레임 기반의 밀도 높은 SLAM 시스템으로, RGB-D 카메라를 대상으로 합니다. 이 시스템은 색상-깊이 융합을 통한 빠른 추적, 효율적인 최적화를 위한 점진적 번들 조정, 메모리 폭주 없이 장기적인 운영을 가능하게 하는 키프레임 기반의 깊이 융합을 결합합니다.

ABSTRACT

In this paper, we present RKD-SLAM, a robust keyframe-based dense SLAM approach for an RGB-D camera that can robustly handle fast motion and dense loop closure, and run without time limitation in a moderate size scene. It not only can be used to scan high-quality 3D models, but also can satisfy the demand of VR and AR applications. First, we combine color and depth information to construct a very fast keyframe-based tracking method on a CPU, which can work robustly in challenging cases (e.g.~fast camera motion and complex loops). For reducing accumulation error, we also introduce a very efficient incremental bundle adjustment (BA) algorithm, which can greatly save unnecessary computation and perform local and global BA in a unified optimization framework. An efficient keyframe-based depth representation and fusion method is proposed to generate and timely update the dense 3D surface with online correction according to the refined camera poses of keyframes through BA. The experimental results and comparisons on a variety of challenging datasets and TUM RGB-D benchmark demonstrate the effectiveness of the proposed system.

연구 동기 및 목표

• 빠른 운동, 루프 클로징, 드리프트 없이 장기적인 운영을 처리하는 데 어려움을 겪는 기존의 밀도 높은 SLAM 시스템의 한계를 해결합니다.
• 다수의 고성능 GPU나 시간 제한이 있는 운영에 의존하지 않고, 단일 CPU에서 실시간으로 밀도 높은 SLAM을 구현합니다.
• 온라인으로 밀도 높은 표면 보정이 가능한 키프레임 기반의 접근법을 개발하고, 추적 오차의 누적을 최소화합니다.
• 최신 기술 수준과 비교해도 높은 정밀도의 3D 재구성을 달성하면서도 계산 효율성을 유지합니다.
• 가상현실 및 증강현실 응용 분야에서 실용적으로 활용할 수 있도록, 도전적인 환경에서도 안정성과 장시간 작동 능력을 제공합니다.

제안 방법

• 단일 CPU에서 빠르고 강력한 추적(70–200 fps)을 달성하기 위해 색상과 깊이 정보를 융합하는 키프레임 기반 추적 방법을 제안합니다.
• 중간 계산 결과를 재사용하고 영향을 받는 키프레임만 적응적으로 업데이트함으로써 불필요한 계산을 최소화하는 점진적 번들 조정 알고리즘을 도입합니다.
• 비키프레임에서 온라인으로 얻은 깊이 데이터를 키프레임에 융합하는 키프레임 기반의 깊이 표현 방식을 적용하여 중복을 줄이고 효율적인 표면 업데이트를 가능하게 합니다.
• 국소 및 전역 번들 조정을 모두 수행할 수 있는 통합 최적화 프레임워크를 사용하여 지ap 정확도 향상과 드리프트 보정을 향상시킵니다.
• BA에서 정밀화된 카메라 자세를 기반으로 깊이 데이터의 재통합 및 재분리 기법을 적용하여 실시간으로 밀도 높은 표면 모델을 보정합니다.
• 비키프레임의 깊이 맵을 키프레임에 통합하는 계층적 융합 전략을 구현하여 저장 및 계산 오버헤드를 감소시킵니다.

실험 결과

연구 질문

• RQ1 키프레임 기반의 밀도 높은 SLAM 시스템이 도전적인 환경에서 높은 정밀도를 유지하면서도 단일 CPU에서 실시간 성능을 달성할 수 있는가?
• RQ2 국소 및 전역 최적화를 모두 지원하면서도 불필요한 계산을 최소화할 수 있도록 점진적 번들 조정을 어떻게 설계할 수 있는가?
• RQ3 키프레임 기반의 깊이 융합이 비틀림 기반 융합과 비교해 유사한 표면 재구성 정밀도를 달성하면서도 메모리와 계산 부담을 줄일 수 있는가?
• RQ4 빠른 운동, 무문자 영역, 루프 클로징 상황에서 시스템이 실패 없이 어떻게 작동하는가?
• RQ5 키프레임 융합을 통한 온라인 표면 보정이 드리프트를 얼마나 줄이고 장기적인 재구성 안정성을 향상시키는가?

주요 결과

• ICL-NUIM 데이터셋에서 RKD-SLAM은 키프레임 기반 절대 궤적 오차(RMSE)를 각각 1.8cm, 1.6cm, 3.2cm로 기록하여, 텍스처가 거의 없는 도전적인 환경에서 대부분의 최신 기술 수준의 방법들을 능가합니다.
• TUM RGB-D 벤치마크에서 RKD-SLAM은 ElasticFusion 및 BundleFusion와 같은 선도적인 시스템들과 유사한 ATE 성능을 달성했으며, 더 많은 시나리오에서 성공적인 추적을 이룹니다.
• ICL-NUIM 데이터셋에서 표면 재구성 정밀도는 각각 0.9cm, 1.1cm, 1.6cm(RMSE)로, 비틀림 기반 융합(0.8cm, 1.3cm, 1.8cm)과 유사한 성능을 보이며, 키프레임 기반 융합의 효과성을 입증합니다.
• 빠른 운동과 복잡한 루프를 성공적으로 처리했으며, 극도로 텍스처가 없는 'kt0' 시퀀스에서는 프레임의 30.5%에서만 추적 실패가 발생했습니다.
• 점진적 번들 조정은 중간 결과를 재사용하고 필요한 키프레임만 업데이트함으로써 계산 시간을 크게 줄였으며, 장기적인 운영을 가능하게 합니다.
• RKD-SLAM은 BundleFusion가 약 10분 후에 실패하는 것과 달리 랩탑에서 시간 제한 없이 작동합니다. 이는 VR/AR 응용 분야에서 장시간 작동이 요구되는 환경에 적합합니다.