[논문 리뷰] Structure-SLAM: Low-Drift Monocular SLAM in Indoor Environments

Yanyan Li, Nikolas Brasch외 3명|arXiv (Cornell University)|2020. 08. 05.

Robotics and Sensor-Based Localization참고 문헌 34인용 수 5

한 줄 요약

이 논문은 단일 카메라 SLAM 시스템인 Structure-SLAM을 제안하며, 저조도 환경에서의 드리프트를 줄이기 위해 회전과 평행 이동 추정을 분리한다. 이는 RGB 이미지에서 밀도 높은 표면 법선을 예측하는 CNN을 사용하고, 맨해튼 월드 가정을 통해 선과 법선에 대한 구면 평균 이동 클러스터링을 통해 드리프트 없는 회전 추정을 실현하며, 점과 선 특징을 활용해 평행 이동을 추정하여 ICL-NUIM 및 TUM RGB-D 벤치마크에서 최신 기술 수준의 성능을 달성한다. 특히 비문자화된 환경에서의 강인성 향상이 뚜렷하다.

ABSTRACT

In this paper a low-drift monocular SLAM method is proposed targeting indoor scenarios, where monocular SLAM often fails due to the lack of textured surfaces. Our approach decouples rotation and translation estimation of the tracking process to reduce the long-term drift in indoor environments. In order to take full advantage of the available geometric information in the scene, surface normals are predicted by a convolutional neural network from each input RGB image in real-time. First, a drift-free rotation is estimated based on lines and surface normals using spherical mean-shift clustering, leveraging the weak Manhattan World assumption. Then translation is computed from point and line features. Finally, the estimated poses are refined with a map-to-frame optimization strategy. The proposed method outperforms the state of the art on common SLAM benchmarks such as ICL-NUIM and TUM RGB-D.

연구 동기 및 목표

• 저조도 실내 환경에서 작동하는 단일 카메라 SLAM 시스템의 장기적 드리프트 문제를 해결하기 위해.
• 기존 특징 기반 방법이 희박하거나 텍스처가 없는 환경에서 실패하는 상황에서 자세 추정의 강인성을 향상시키기 위해.
• 특히 표면 법선과 선과 같은 기하학적 구조를 활용해 평면적이고 비문자화된 환경에서도 안정적인 추적 및 맵핑을 가능하게 하기 위해.
• 특히 텍스처가 부족한 환경에서 드리프트 누적을 최소화하기 위해 회전과 평행 이동 추정을 분리하기 위해.

제안 방법

• 실시간으로 단일 RGB 이미지에서 밀도 높은 표면 법선을 예측하기 위해 딥 인코더-디코더 CNN을 훈련한다.
• 맨해튼 월드 가정 하에 표면 법선과 선 특징에 대해 구면 평균 이동 클러스터링을 적용하여 전역적으로 일관되고 드리프트 없는 회전 추정을 수행한다.
• 3-DoF 추정 프레임워크를 사용해 2D 점 특징과 2D 선분을 조합하여 평행 이동을 추정한다.
• 희소한 점과 선의 맵을 사용한 프레임 간 최적화 전략을 통해 초기 자세 추정치를 정밀하게 보정한다.
• 맵 품질과 계산 효율성을 유지하기 위해 특징 가용성 기반으로 키프레임을 선택한다.
• 유효한 맨해튼 프레임이 감지되지 않을 경우 점과 선 특징을 활용해 전체 자세 추정을 수행하여 초기화 및 추적 시 강인성을 확보한다.

실험 결과

연구 질문

• RQ1 단일 RGB 이미지에서 밀도 높은 표면 법선 예측이 저조도 실내 환경에서의 단일 카메라 SLAM 성능 향상에 기여하는가?
• RQ2 예측된 법선과 선 특징과 결합된 맨해튼 월드 가정이 드리프트 없는 회전 추정에 얼마나 효과적인가?
• RQ3 기존 접근 방식과 비교해 회전과 평행 이동 추정을 분리함으로써 단일 카메라 SLAM의 장기적 드리프트를 줄일 수 있는가?
• RQ4 기본 벤치마크에서 최신 기술 수준의 단일 카메라 SLAM 시스템과 비교해 제안된 방법은 정확성과 강인성 측면에서 어떤가?

주요 결과

• Structure-SLAM은 ICL-NUIM 및 TUM RGB-D 벤치마크에서 ORB-SLAM 및 기타 최신 기술 수준의 단일 카메라 SLAM 시스템을 능가하며, 특히 저조도 시퀀스에서 뛰어난 성능을 보인다.
• 특히 'of-kt3' 및 'lr-kt2'와 같은 과도한 시퀀스에서 ORB-SLAM보다 상대적 자세 오차(RPE)가 현저히 낮게 나타나 회전 추정 성능이 뛰어나다.
• 비문자화된 환경인 'of-kt3'에서는 ORB-SLAM이 충분한 점 특징이 없어 초기화에 실패하거나 추적을 상실하지만, Structure-SLAM은 약 프레임 110에서 성공적으로 초기화하고 모든 프레임을 추적한다.
• CNN로 예측한 법선을 활용함으로써 전적으로 회전 운동 중에도 강인한 회전 추정이 가능해지며, 기존의 기본 행렬 또는 본질 행렬에 의존하는 방법은 실패한다.
• 맨해튼 월드 가정에 의한 전역 정렬 덕분에 갑작스러운 환경 변화가 발생하는 곳, 예를 들어 복도 모서리에서는 추적 안정성이 뛰어나다.
• 학습된 법선과 기하학적 특징의 조합은 점 특징이나 깊이 센서에만 의존하는 방법보다 더 일관되고 정확한 궤적 추정을 가능하게 한다.