[논문 리뷰] CubemapSLAM: A Piecewise-Pinhole Monocular Fisheye SLAM System

Yahui Wang, Shaojun Cai외 5명|arXiv (Cornell University)|2018. 11. 30.

Robotics and Sensor-Based Localization참고 문헌 24인용 수 7

한 줄 요약

CubemapSLAM은 페시크 렌즈 카메라를 위한 실시간, 특징 기반 SLAM 시스템을 제안하며, 페시크 왜곡을 제거하면서도 전체 시야를 유지하기 위해 큐브맵 투영을 사용한다. 페시크 렌즈 카메라를 여섯 개의 조각별 핀홀 면으로 모델링하여, 통합된 벡터 기반 표현과 새로운 재투영 오차 지표를 활용해 효율적인 특징 매칭 및 삼각측량을 가능하게 하며, 특히 도전적인 조건에서 큰 실외 환경에서 기존의 페시크 렌즈 SLAM 시스템보다 높은 정확도와 강건성을 달성한다.

ABSTRACT

We present a real-time feature-based SLAM (Simultaneous Localization and Mapping) system for fisheye cameras featured by a large field-of-view (FoV). Large FoV cameras are beneficial for large-scale outdoor SLAM applications, because they increase visual overlap between consecutive frames and capture more pixels belonging to the static parts of the environment. However, current feature-based SLAM systems such as PTAM and ORB-SLAM limit their camera model to pinhole only. To compensate for the vacancy, we propose a novel SLAM system with the cubemap model that utilizes the full FoV without introducing distortion from the fisheye lens, which greatly benefits the feature matching pipeline. In the initialization and point triangulation stages, we adopt a unified vector-based representation to efficiently handle matches across multiple faces, and based on this representation we propose and analyze a novel inlier checking metric. In the optimization stage, we design and test a novel multi-pinhole reprojection error metric that outperforms other metrics by a large margin. We evaluate our system comprehensively on a public dataset as well as a self-collected dataset that contains real-world challenging sequences. The results suggest that our system is more robust and accurate than other feature-based fisheye SLAM approaches. The CubemapSLAM system has been released into the public domain.

연구 동기 및 목표

• 페시크 렌즈 카메라를 위한 실시간 정확한 SLAM 시스템의 부족을 해결하고, 왜곡을 유발하지 않으면서도 넓은 시야를 활용할 수 있도록 하기 위해.
• 기존의 특징 기반 SLAM 시스템(예: ORB-SLAM, PTAM)이 핀홀 모델에 국한되어 있어 극도로 왜곡된 페시크 이미지에서는 실패하는 문제를 해결하기 위해.
• 페시크 렌즈 카메라의 전체 시야를 최대한 활용하면서도 표준 특징 서술자와 Bag-of-Words 어휘와의 호환성을 유지하는 강건하고 효율적인 SLAM 파이프라인을 설계하기 위해.
• 큐브맵 모델에 맞춤형으로 설계된 기하학적 표현과 오차 지표를 도입하여 페시크 렌즈 SLAM의 특징 매칭, 삼각측량, 최적화 단계를 향상시키기 위해.
• 오염, 낮은 무늬, 동적 물체 등 도전적인 조건이 존재하는 실세계 실외 환경에서 시스템의 우수성을 검증하기 위해.

제안 방법

• 시스템은 페시크 렌즈 카메라를 큐브맵으로 모델링하여 360° 페시크 이미지를 큐브의 여섯 개 평면 면으로 투영하고, 각 면은 최소한의 왜곡을 갖는 핀홀 카메라로 간주한다.
• 초기화 및 삼각측량 과정에서 여러 큐브맵 면을 넘어서 특징 대응 관계를 효율적으로 처리하기 위해 통합된 벡터 기반 표현을 도입한다.
• RANSAC 기반의 이상치 제거를 위해 본질행렬과 벡터 표현을 기반으로 한 새로운 이입자 확인 지표를 제안하고 철저히 분석한다.
• 패키지 조정을 위한 새로운 다중 핀홀 재투영 오차 지표를 설계하고 평가하였으며, 기존 지표보다 정확도와 수렴 속도에서 뛰어난 성능을 보였다.
• 루프 클로징을 통합하고 궤적 평가를 위해 7-DoF 정렬을 사용하여 장시간 시퀀스에서도 강건한 성능을 달성한다.
• 실시간 동작을 최적화하고 GitHub에 공개 구현을 제공한다.

실험 결과

연구 질문

• RQ1 큐브맵 기반 표현이 페시크 렌즈 카메라를 효과적으로 모델링하여 왜곡 없이 실시간 정확한 SLAM을 가능하게 할 수 있는가?
• RQ2 여러 큐브맵 면을 넘어서 특징 매칭과 삼각측량을 효율적으로 처리하면서 기하학적 일관성을 유지할 수 있는가?
• RQ3 조각별 핀홀 페시크 렌즈 SLAM 시스템에서 패키지 조정을 위한 최적의 재투영 오차 지표는 무엇이며, 기존 지표와 비교해 어떻게 성능을 냈는가?
• RQ4 실세계 실외 환경에서 큐브맵 모델을 사용하는 페시크 렌즈 SLAM 시스템의 성능은 핀홀 기반 및 정규화된 페시크 렌즈 SLAM 시스템과 비교해 어떻게 되는가?
• RQ5 제한된 각도 해상도를 가진 페시크 렌즈 카메라에서도 루프 클로징과 최적의 카메라 장착 위치가 정확도를 향상시킬 수 있는가?

주요 결과

• 주차장 시퀀스에서 CubemapSLAM은 ORB-Pin-F와 ORB-Rect-F보다 유의미하게 높은 정확도를 달성하였으며, ATE RMSE가 4.47m로(루프 클로징 없이 16.47m) 루프 클로징 후 핀홀 기반 ORB-Pin-F를 능가하는 성능을 보였다.
• loop1_c_clockwise 시퀀스에서 CubemapSLAM은 ATE RMSE 9.84m를 기록하여 ORB-Pin-L(15.60m)과 ORB-Rect-L(X)를 모두 능가하며, 낮은 무늬와 가림이 있는 환경에서 뛰어난 강건성을 입증했다.
• town_1 시퀀스에서 CubemapSLAM은 평균 366.14개의 키포인트를 추적하였으며, ORB-Pin-L(379.21)과 ORB-Rect-L(375.09)보다도 높은 수준을 기록하여 추적 안정성과 지도 밀도 향상을 보였다.
• 루프 클로징 기능을 활성화한 상태에서 CubemapSLAM은 parkinglot_1 시퀀스의 ATE RMSE를 5.44m에서 2.41m로 감소시켜 장시간 시퀀스에서 강력한 일관성과 수렴 성능을 입증했다.
• 낮은 프레임 레이트와 낮은 무늬 환경(예: 3프레임에 1장의 이미지)에서도 CubemapSLAM은 정상적으로 초기화 및 추적가능했고, ORB-Pin-F는 초기화에 실패함을 통해 강건성을 입증했다.
• CubemapSLAM의 성능은 핀홀 카메라 기반 ORB-SLAM과 유사했으며, 일부 시퀀스에서는 루프 클로징 후 이를 뛰어넘는 성능을 보였다. 이는 페시크 센서의 낮은 각도 해상도에도 불구하고 성능이 뛰어나다는 것을 시사한다.