[논문 리뷰] OmniSLAM: Omnidirectional Localization and Dense Mapping for Wide-baseline Multi-camera Systems

Changhee Won, Hochang Seok외 3명|arXiv (Cornell University)|2020. 03. 18.

Advanced Vision and Imaging참고 문헌 46인용 수 4

한 줄 요약

이 논문은 펜트라이크 렌즈를 사용하는 광각 광범위한 기준 거리의 원형 다중카메라 설정을 위한 강력한 시각 SLAM 및 밀도 높은 매핑 시스템인 OmniSLAM을 제안한다. 360° 깊이 추정을 위한 경량이고 정확한 딥 네트워크를 도입하고, 개선된 기능 매칭과 루프 클로징을 통한 시각 오도메트리에 깊이를 통합하며, 정밀한 3D 재구성 결과를 위해 TSDF 볼륨에 통합한다. 이로써 시뮬레이션 환경과 실제 환경 모두에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

In this paper, we present an omnidirectional localization and dense mapping system for a wide-baseline multiview stereo setup with ultra-wide field-of-view (FOV) fisheye cameras, which has a 360 degrees coverage of stereo observations of the environment. For more practical and accurate reconstruction, we first introduce improved and light-weighted deep neural networks for the omnidirectional depth estimation, which are faster and more accurate than the existing networks. Second, we integrate our omnidirectional depth estimates into the visual odometry (VO) and add a loop closing module for global consistency. Using the estimated depth map, we reproject keypoints onto each other view, which leads to a better and more efficient feature matching process. Finally, we fuse the omnidirectional depth maps and the estimated rig poses into the truncated signed distance function (TSDF) volume to acquire a 3D map. We evaluate our method on synthetic datasets with ground-truth and real-world sequences of challenging environments, and the extensive experiments show that the proposed system generates excellent reconstruction results in both synthetic and real-world environments.

연구 동기 및 목표

• 기존 스테레오 시스템의 원형 센싱에서의 한계, 특히 시야 제한과 맹점 문제를 해결하기 위해.
• 초광각 시야를 가진 펜트라이크 렌즈를 탑재한 광각 원형 다중카메라 라이트에 실용적이고 효율적이며 정확한 밀도 높은 매핑 시스템을 개발하기 위해.
• 경량 딥 네트워크를 활용해 360° 파ano라믹 장면의 깊이 추정 정확도와 속도를 향상시키기 위해.
• 원형 깊이를 시각 오도메트리에 통합하여 루프 클로징를 통한 자세 추정 향상과 전역 일관성 향상을 위해.
• 절단된 부호 거리 함수(TSDF) 볼륨에 깊이 맵과 카메라 자세를 융합하여 고품질의 3D 재구성을 달성하기 위해.

제안 방법

• 광각 펜트라이크 이미지에서 원형 깊이 추정을 위한 향상되고 경량화된 딥 네트워크를 제안하여, 기존 방법 대비 GPU 메모리 사용량과 추론 시간을 감소시키면서도 정확도를 향상시킨다.
• 예측된 깊이 맵을 ROVO 시각 오도메트리 프레임워크에 통합하여, 시야 간 키포인트를 재투영함으로써 상호 시야 기능 매칭과 삼각측량을 향상시킨다.
• 오디오 기반의 루프 클로징 모듈을 특화하여 궤적의 왜곡을 보정하고 전역 일관성을 향상시킨다.
• 절단된 부호 거리 함수(TSDF) 볼륨을 사용하여 원형 깊이 맵과 추정된 라이트 자세를 융합하여 일관된 3D 재구성을 수행한다.
• 저대비 또는 무문자 영역에서의 깊이 추정 향상을 위해 히스토그램 균형화 및 감마 보정 등의 이미지 전처리 기법을 적용한다.
• 관측 횟수 필터링을 통한 关键 프레임 기반 융합을 적용하여, 큰 벽이나 바닥과 같은 도전적인 영역에서 노이즈를 감소시키고 지ap 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 광각 펜트라이크 카메라에서 360° 깊이 추정을 위한 경량이고 정확한 딥 네트워크를 개발할 수 있는가? 이는 효율성과 성능 향상에 기여하는가?
• RQ2 원형 깊이를 시각 오도메트리에 통합하면, 복잡한 환경에서 자세 추정 정확도와 내구성은 어떻게 향상되는가?
• RQ3 특화된 루프 클로징 모듈이 원형 SLAM 시스템의 전역 일관성에 얼마나 기여하는가?
• RQ4 깊이와 자세를 TSDF 볼륨에 융합하면 다양한 실제 및 시뮬레이션 환경에서 고해상도 3D 지도를 얼마나 잘 생성하는가?
• RQ5 제안된 시스템은 실시간 배포에 실용적인 계산 부담을 유지하면서도 최신 기술 수준의 재구성 품질을 달성할 수 있는가?

주요 결과

• 제안된 OmniMVS+ 및 Tiny+ 네트워크는 파라미터 수가 감소하고 GPU 메모리 사용량이 낮아지면서도 OmniMVS [15]보다 더 높은 정확도와 더 빠른 추론 속도를 달성한다.
• 깊이 통합이 적용된 ROVO+는 궤적 왜곡을 크게 감소시켜 시뮬레이션 및 실제 환경 시퀀스에서 ROVO [14]를 능가한다.
• ROVO+에 루프 클로징를 추가함으로써 궤적 정렬이 향상되었으며, 외부 환경에서 위성 지도와의 대응 관계가 더 우수한 것으로 나타났다.
• 시뮬레이션 데이터셋에서 OmniMVS+와 Tiny+는 모든 임계값에서 뛰어난 완전성과 정확도를 보였으며, 특히 낮은 임계값(예: 0.1m)에서 두드러졌다.
• IT/BT 및 Wangsimni 데이터셋을 통해 무문자 영역과 작은 물체를 포함한 도전적인 실내 및 실외 환경의 세밀한 3D 지도 재구성을 성공적으로 수행했다.
• 관측 횟수 필터링과 최적화된 볼륨 크기(0.05m–0.15m)를 사용한 TSDF 융합은 특히 큰 무문자 영역에서 지도 품질을 향상시켰다.