[논문 리뷰] MultiCol-SLAM - A Modular Real-Time Multi-Camera SLAM System

Steffen Urban, Stefan Hinz|arXiv (Cornell University)|2016. 10. 24.

Robotics and Sensor-Based Localization참고 문헌 5인용 수 20

한 줄 요약

이 논문은 다중 볼록 렌즈 카메라 조합의 강체 결합 구성을 위한 모듈식 실시간 SLAM 시스템인 MultiCol-SLAM을 제안한다. MultiCol 모델을 활용해 국소화 정확도와 강인성을 향상시키며, ORB-SLAM을 다중 카메라 융합, 关键 프레임 기반 최적화, 병렬 처리로 확장함으로써 동적 및 도전적인 환경에서도 상당히 향상된 평행 이동 및 회전 정확도를 달성한다. 다양한 궤적에서 참값 평가를 통해 이를 입증하였다.

ABSTRACT

The basis for most vision based applications like robotics, self-driving cars and potentially augmented and virtual reality is a robust, continuous estimation of the position and orientation of a camera system w.r.t the observed environment (scene). In recent years many vision based systems that perform simultaneous localization and mapping (SLAM) have been presented and released as open source. In this paper, we extend and improve upon a state-of-the-art SLAM to make it applicable to arbitrary, rigidly coupled multi-camera systems (MCS) using the MultiCol model. In addition, we include a performance evaluation on accurate ground truth and compare the robustness of the proposed method to a single camera version of the SLAM system. An open source implementation of the proposed multi-fisheye camera SLAM system can be found on-line https://github.com/urbste/MultiCol-SLAM.

연구 동기 및 목표

• 임의의 강체 구성을 가진 다중 볼록 렌즈 카메라 시스템을 위한 강인하고 실시간 동작이 가능한 SLAM 솔루션의 부족을 해결하기 위해.
• 단일 카메라 시스템이 실패하는 동적 및 복잡한 환경에서 국소화 정확도와 간접성을 향상시키기 위해.
• 특히 ORB-SLAM과 같은 최신 기술 기반의 관찰 기반 SLAM을 MultiCol 모델을 활용해 다중 카메라 시스템을 지원하도록 확장하기 위해.
• 병렬 처리와 효율적인 번들 조정을 지원하는 모듈식이고 오픈소스의 다중 카메라 SLAM 프레임워크를 제공하기 위해.
• 다양한 운동 및 장면 복잡도를 가진 실세계 궤적을 기반으로 참값에 대해 시스템 성능을 검증하기 위해.

제안 방법

• 시스템은 다중 강체 결합 볼록 렌즈 카메라 간 기하학적 일관성을 강제하는 MultiCol 모델을 통합하여 ORB-SLAM을 확장한다.
• 추적, 매핑, 국소 번들 조정을 위한 병렬 스레드를 사용하여 다중 카메라 입력에서 실시간 성능을 달성한다.
• 모든 카메라에서 병렬로 기능 추출을 수행하며(카메라당 400개의 기능), 운동 및 시각적 불변성 기반으로 관찰 프레임을 선택한다.
• 자세 추정은 기본 행렬 기반 초기화를 사용하며, 볼록 렌즈 카메라 모델의 도전 과제로 인해 이동 벡터 크기 기반 임계값을 통해 강인한 선택을 수행한다.
• 국소 번들 조정은 관찰 프레임에 적용되어 카메라 자세와 3차원 지도 점을 정밀하게 조정하며, 기하학적 제약 조건을 사용해 시야 간 지도 점을 융합한다.
• 평가 중 궤적 정렬을 위해 7-DoF 유사 변환을 사용하여 정확한 ATE 및 RPE 지표를 산출한다.

실험 결과

연구 질문

• RQ1 모듈식 실시간 SLAM 시스템은 강체로 결합된 임의의 다중 카메라 시스템, 특히 볼록 렌즈 카메라에 대해 효과적으로 확장될 수 있는가?
• RQ2 다중 카메라 융합은 단일 카메라 SLAM에 비해 동적 및 복잡한 환경에서 SLAM 정확도와 간접성을 어떻게 향상시키는가?
• RQ3 통제된 참값 조건 하에서 단일 볼록 렌즈 카메라에 비해 다중 볼록 렌즈 카메라를 사용할 경우 평행 이동 및 회전 정확도 향상은 얼마나 되는가?
• RQ4 병렬 처리와 희소 최적화를 통해 다중 카메라에서 유입되는 증가된 데이터를 처리하면서도 실시간 성능을 어떻게 유지하는가?
• RQ5 MultiCol 모델은 기존 단일 카메라 SLAM 파이프라인에 비해 다중 카메라 SLAM의 일관성 향상과 드리프트 감소에 얼마나 기여하는가?

주요 결과

• 레이저 트래킹 궤적에서 MultiCol-SLAM은 1.4 cm의 중앙값 평행 이동 정확도를 달성했으며, 단일 카메라 SLAM의 31.0 cm에 비해 95.5% 향상되었다.
• 빠른 걷기 레이저 궤적에서 평행 이동 정확도는 단일 카메라의 28.1 cm에서 다중 카메라의 5.3 cm로 향상되어 오차가 81.1% 감소했다.
• 실내 동적 환경에서는 평행 이동 오차가 32.4 cm에서 2.1 cm로 감소하여 93.5% 향상되었으며, 회전 정확도 역시 상당히 향상되었다.
• 다중 카메라 SLAM의 중앙값 RPE는 1.2 cm / 0.33°였고, 단일 카메라 SLAM의 1.95 cm / 0.32°에 비해 더 뛰어난 단거리 기반 추적 성능을 보였다.
• 외부 동적 궤적에서 단일 카메라 SLAM은 추적 실패가 발생했으며('X'로 표시됨), MultiCol-SLAM은 전체 시퀀스를 성공적으로 추적했다.
• 프레임당 총 처리 시간은 다중 카메라 시스템에서 28 ms, 단일 카메라 시스템에서 21 ms였으며, 다중 카메라 처리의 추가 복잡성도 실시간으로 처리 가능한 것으로 나타났다.