[논문 리뷰] Structure PLP-SLAM: Efficient Sparse Mapping and Localization using Point, Line and Plane for Monocular, RGB-D and Stereo Cameras

Fangwen Shu, Jiaxuan Wang외 2명|arXiv (Cornell University)|2022. 07. 13.

Robotics and Sensor-Based Localization인용 수 4

한 줄 요약

이 논문은 단일화소, RGB-D, 스테레오 시각 SLAM 시스템인 Structure PLP-SLAM을 제안하며, 점, 선, 평면을 통합하여 강력한 카메라 위치 추정과 실시간 구조적 맵핑을 구현한다. 플루커 좌표를 활용한 3차원 선 표현과 적응형 평면 피팅을 통해 TUM RGB-D, ICL-NUIM, EuRoC 데이터셋에서 최신 기준의 궤적 정확도를 달성하며, 기존 방법들보다 정밀도와 의미 맵 품질 측면에서 뛰어난 성능을 발휘한다.

ABSTRACT

This paper presents a visual SLAM system that uses both points and lines for robust camera localization, and simultaneously performs a piece-wise planar reconstruction (PPR) of the environment to provide a structural map in real-time. One of the biggest challenges in parallel tracking and mapping with a monocular camera is to keep the scale consistent when reconstructing the geometric primitives. This further introduces difficulties in graph optimization of the bundle adjustment (BA) step. We solve these problems by proposing several run-time optimizations on the reconstructed lines and planes. Our system is able to run with depth and stereo sensors in addition to the monocular setting. Our proposed SLAM tightly incorporates the semantic and geometric features to boost both frontend pose tracking and backend map optimization. We evaluate our system exhaustively on various datasets, and show that we outperform state-of-the-art methods in terms of trajectory precision. The code of PLP-SLAM has been made available in open-source for the research community (https://github.com/PeterFWS/Structure-PLP-SLAM).

연구 동기 및 목표

• 단일화소 SLAM에서 스케일 모호성과 일관되지 않은 기하 최적화 문제를 해결하기 위해 고차원 기하 특징을 통합한다.
• 점 외에 선과 평면을 활용하여 저조도 및 조도 변화가 심한 환경에서도 카메라 위치 추정의 강건성을 향상시킨다.
• 맨하탄 월드 같은 강한 가정 없이도 실시간으로 조각별 평면 재구성을 가능하게 한다.
• 단일화소, RGB-D, 스테레오 입력을 모두 지원하는 센서에 종속되지 않는 SLAM 프레임워크를 개발한다.
• 사전에 구축된 점-선 맵 기반의 재위치 모듈을 개발하여 추적 실패 후에도 강력한 복구를 가능하게 한다.

제안 방법

• 최소화되고 모호성이 없는 매개변수화를 위해 3차원 선을 플루커 좌표로 표현하면서도, 시각화 및 대응 검색을 위해 종점 표현을 유지한다.
• 초기 평면 사전 지식을 생성하기 위해 CNN 기반의 인스턴스 평면 분할 네트워크를 사용한 후, RANSAC 기반의 그래프 최적화를 통해 강력한 3차원 평면 피팅을 수행한다.
• OpenVSLAM 기반의 모듈러한 다기능 SLAM 파이프라인을 구현하며, ORB-SLAM2에 점, 선, 평면의 동시 최적화를 통합한 번들 조정을 추가한다.
• 노이즈에 대한 민감도를 줄이고 평면 피팅의 신뢰성을 향상시키기 위해 RANSAC에서 적응형 임계값을 적용하며, 강한 가정 없이도 성능을 향상시킨다.
• 사전에 구축된 점-선 맵을 사용해 루프 클로징 및 재위치를 통합하며, 3차원-2차원 점 및 선 대응을 기반으로 운동 최적화를 수행한다.
• 고품질 평면만 유지하기 위해 맵 리파인어를 도입하여 맵 일관성 향상과 노이즈 전파 감소를 달성한다.

Figure 1: The proposed SLAM system utilizes point and line cloud for robust camera localization, with piece-wise planar reconstruction for semantic mapping. Here, the reconstructed maps are presented selectively for better visualization.

실험 결과

연구 질문

• RQ1 점 외에 선과 평면을 통합함으로써 난이도 높은 시각 조건에서도 카메라 위치 추정의 강건성이 크게 향상될 수 있는가?
• RQ2 그래프 기반 SLAM 프레임워크에서 과도한 매개변수화 없이 3차원 선을 효율적으로 표현하고 최적화할 수 있는가?
• RQ3 맨하탄 월드 같은 강한 기하학적 가정 없이도 단일화소 SLAM에서 실시간으로 조각별 평면 재구성을 안정적으로 달성할 수 있는가?
• RQ4 사전에 구축된 점-선 맵을 사용할 경우 점 전용 방법 대비 재위치 성능이 향상되는가?
• RQ5 제안된 시스템은 다양한 센서 모odalities와 데이터셋에서 최신 기준 SLAM 시스템과 정량적으로 비교해 볼 때 어떤가?

주요 결과

• TUM RGB-D 데이터셋에서 Structure PLP-SLAM은 점-선-평면 통합을 통해 평균 ATE RMSE 1.87 cm를 달성하였으며, SP-SLAM(1.51 cm)과 Manhattan SLAM(2.81 cm)을 모두 능가하는 성능을 보였다.
• ICL-NUIM 데이터셋에서 시스템은 점-선-평면 융합을 통해 평균 ATE RMSE 1.34 cm를 기록하여, 다음으로 우수한 성능을 보인 방법(1.77 cm)을 앞서는 궤적 정확도를 확보하였다.
• 점과 선을 모두 사용한 재위치 모듈은 단일 이미지 기반 위치 추정 평가에서 점 전용 최적화 대비 절대 자세 오차(APE)를 최대 30% 감소시켰다.
• 점, 선, 평면의 상호보완적 활용 덕분에 저조도 환경을 포함한 다양한 시나리오에서 뛰어난 성능을 발휘하였다.
• 맵 리파인어는 저품질 및 소형 평면을 성공적으로 걸러내어 맵 일관성 향상과 노이즈 감소를 이끌었지만, 매우 저조도 환경에서는 평면 재구성 범위가 제한되었다.
• GitHub에 코드를 오픈소스로 배포함으로써 의미 있는 SLAM에서의 다기능 통합 연구의 재현 가능성과 향후 연구 기여가 가능해졌다.

(a) Endpoints representation.