[논문 리뷰] LoopSmart: Smart Visual SLAM Through Surface Loop Closure

Guoxiang Zhang, YangQuan Chen|arXiv (Cornell University)|2018. 01. 04.

Robotics and Sensor-Based Localization참고 문헌 17인용 수 6

한 줄 요약

LoopSmart는 밀도 높은 표면 루프 클로징과 희소 기능 기반의 번들 조정을 융합하여 궤적 정확도와 3D 재구성 성능을 향상시키는 새로운 시각 SLAM 프레임워크를 제안한다. CUDA 가속 전역 포인트 클라우드 정렬 및 맵 콘텐츠에 의존하는 루프 검증을 통해 다양한 데이터셋에서 최신 기술 수준의 성능을 달성하며, ORB-SLAM2와 ElasticFusion을 모두 능가하는 카메라 궤적 및 표면 모델링 정확도를 확보한다.

ABSTRACT

We present a visual simultaneous localization and mapping (SLAM) framework of closing surface loops. It combines both sparse feature matching and dense surface alignment. Sparse feature matching is used for visual odometry and globally camera pose fine-tuning when dense loops are detected, while dense surface alignment is the way of closing large loops and solving surface mismatching problem. To achieve smart dense surface loop closure, a highly efficient CUDA-based global point cloud registration method and a map content dependent loop verification method are proposed. We run extensive experiments on different datasets, our method outperforms state-of-the-art ones in terms of both camera trajectory and surface reconstruction accuracy.

연구 동기 및 목표

• 감지되지 않거나 잘못된 루프로 인해 발생하는 밀도 높은 시각 SLAM에서의 카메라 궤적 정확도 저하 및 일관되지 않은 3D 재구성 문제를 해결한다.
• 희소 기능에 의존하는 전통적인 백오브워즈 루프 검출 기법의 한계를 극복하며, 조명 변화나 시점 변화에 취약한 점을 보완한다.
• 밀도 높은 표면 루프를 검출하고, 직접적인 밀도 높은 표면 변형 대신 희소 기능 최적화를 통해 보정함으로써 루프 클로징 성능을 향상시킨다.
• 효율적인 전역 포인트 클라우드 정렬 및 강력한 루프 검증을 통합하여 실시간으로 전역 일관성을 확보하는 3D 재구성 구현을 가능하게 한다.
• 밀도 높은 루프 검출과 희소 기능 기반 번들 조정의 융합이 기존 방법에 비해 뛰어난 성능을 내는지 입증한다.

제안 방법

• 겹치는 스캔 간의 공간 일관성을 평가하는 맵 콘텐츠에 의존하는 루프 검증 방법을 사용해 밀도 높은 표면 루프를 검출한다.
• 검출된 루프에서 유도된 밀도 높은 포인트 클라우드를 효율적으로 정렬하기 위해 CUDA 가속 전역 포인트 클라우드 정렬 알고리즘을 적용한다.
• 루프 클로징 정보를 활용해 모든 이전 자세를 개선하기 위해 희소 기능에 대한 번들 조정을 수행함으로써 카메라 궤적과 3D 모델을 보정한다.
• 큰 루프 보정 및 표면 불일치 문제 해결을 위해 밀도 높은 표면 정렬을 통합한다.
• 하이브리드 접근 방식을 사용한다: 시각 오도메트리 및 정밀 조정에는 희소 기능 매칭을, 큰 루프 클로징 및 표면 일관성 확보에는 밀도 높은 표면 정렬을 활용한다.
• 3D 모델 융합은 공정한 비교를 위해 모든 시스템에서 일관된 파arameter를 사용하여 ElasticFusion을 활용해 수행한다.

실험 결과

연구 질문

• RQ1 밀도 높은 표면 루프 클로징은 시각 SLAM에서 카메라 궤적 추정 정확도를 크게 향상시킬 수 있는가?
• RQ2 밀도 높은 루프 검출과 희소 기능 기반 번들 조정의 융합이 기존 SLAM 시스템에 비해 3D 재구성 및 궤적 정확도에서 뛰어난 성능을 내는가?
• RQ3 CUDA 가속 전역 포인트 클라우드 정렬 기법을 통해 실시간 루프 클로징이 밀도 높은 시각 SLAM에서 가능해지는가?
• RQ4 맵 콘텐츠에 의존하는 루프 검증은 기존의 백오브워즈 또는 기능 중심 방법에 비해 신뢰성을 어떻게 향상시키는가?
• RQ5 제안된 프레임워크는 전체 3D 모델 재융합 없이도 큰 루프로 인한 표면 불일치를 보정할 수 있는가?

주요 결과

• LoopSmart는 모든 테스트 데이터셋에서 카메라 궤적 추정의 최소 제곱근 오차(RMSE)를 기록했으며, Living Room 2에서는 0.02 m, Office 2에서는 0.02 m를 기록하여 ORB-SLAM2와 ElasticFusion를 모두 능가했다.
• Living Room 2 시퀀스의 오차 지도 비교 결과, LoopSmart는 표면 이격 오차가 크게 감소한 가장 정확한 3D 재구성을 생성했다.
• Maiya 동굴 데이터셋에서 LoopSmart는 조명 변화와 외관 유사성으로 인해 문제가 발생하기 쉬운 영역에서도 ORB-SLAM2 및 ElasticFusion보다 더 일관된 3D 모델을 생성했다.
• Copyroom, Lounge, DysonLab 데이터셋과 같은 실생활 환경에서도 시스템은 시각적으로 일관되고 고품질의 재구성을 생성하며 뛰어난 내구성을 입증했다.
• 희소 기능 번들 조정을 통한 루프 보정은 전체 재융합 없이도 전역 최적화를 가능하게 하여 계산 비용을 줄이고 정확도를 향상시켰다.
• LoopSmart는 공개 및 실생활 데이터셋을 대상으로 실시한 광범위한 실험을 통해 궤적 및 표면 재구성 정확도에서 최신 기술 수준의 성능을 확보했다.