[논문 리뷰] CamVox: A Low-cost and Accurate Lidar-assisted Visual SLAM System

Yuewen Zhu, Chunran Zheng외 3명|arXiv (Cornell University)|2020. 11. 23.

Robotics and Sensor-Based Localization참고 문헌 18인용 수 10

한 줄 요약

CamVox는 대규모 실외 환경에서 정확도와 내성 강도를 향상시키기 위해 ORB-SLAM2와 Livox 라이다를 융합한 저비용 실시간 시각 SLAM 시스템을 제안한다. Livox 라이다의 반복되지 않는 스캔 패턴을 활용하여 비제어 환경에서도 자동으로 카메라-라이다 캘리브레이션을 수행할 수 있으며, 상태 기반의 궤적 정확도를 달성하여 동일한 데이터셋에서 VINS-mono와 LOAM를 초월한다. 평균 APE는 1.7m이다.

ABSTRACT

Combining lidar in camera-based simultaneous localization and mapping (SLAM) is an effective method in improving overall accuracy, especially at a large scale outdoor scenario. Recent development of low-cost lidars (e.g. Livox lidar) enable us to explore such SLAM systems with lower budget and higher performance. In this paper we propose CamVox by adapting Livox lidars into visual SLAM (ORB-SLAM2) by exploring the lidars' unique features. Based on the non-repeating nature of Livox lidars, we propose an automatic lidar-camera calibration method that will work in uncontrolled scenes. The long depth detection range also benefit a more efficient mapping. Comparison of CamVox with visual SLAM (VINS-mono) and lidar SLAM (LOAM) are evaluated on the same dataset to demonstrate the performance. We open sourced our hardware, code and dataset on GitHub.

연구 동기 및 목표

• 대규모 실외 맵핑을 위해 Livox 라이다를 시각 SLAM(ORB-SLAM2)과 융합하여 저비용, 고정확도 SLAM 시스템을 개발한다.
• Livox 라이다의 고유한 반복되지 않는 스캔 패턴을 활용해 비제어적이고 실제 환경의 장면에서 자동으로 카메라-라이다 캘리브레이션 문제를 해결한다.
• Livox 라이다의 장거리 탐지 범위(최대 260m)와 높은 정확도를 활용하여 깊이 추정 및 맵핑 효율을 향상시킨다.
• 고정밀도 궤적 정확도를 유지하면서 임베디드 플랫폼(Manifold 2C)에서 실시간 성능을 달성한다.
• 하드웨어, 소스 코드, 데이터셋을 공개하여 연구자 및 개발자에게 즉시 사용 가능한 솔루션을 제공한다.

제안 방법

• IMU 데이터를 사용해 라이다 포인트 클라우드의 왜곡을 보정하고, 시간 동기화된 캘리브레이션을 통해 포인트를 카메라 프레임으로 변환하는 전처리 파이프라인을 통해 라이다와 카메라 데이터를 융합한다.
• Livox 라이다의 반복되지 않는 스캔 패턴을 활용해 제어된 캘리브레이션 환경이 없더라도 이미지 유사 캘리브레이션을 자동으로 수행한다.
• 특징 추적 및 맵핑 효율 향상을 위해 키포인트를 '근접'으로 분류하기 위해 기준 깊이(기본값 130m)를 설정한다.
• 라이다에서 유도된 깊이 측정값을 ORB-SLAM2에 통합하여 특징 추적, 맵핑, 루프 클로징의 정확도를 향상시키고 스케일 정확도를 개선한다.
• 4코어 인텔 i7-8550U를 탑재한 내장형 Manifold 2C 시스템에서 실시간 처리를 수행하며, 카메라 입력 속도 10Hz, 맵핑 지연 시간 250ms 이내를 달성한다.
• 라이다 포인트 클라우드에서 밀도 높은 깊이 맵을 생성하기 위해 맞춤형 PCD-to-depth 변환 모듈을 도입하여 시각 SLAM 통합에 활용한다.

Figure 1: Example of CamVox performance. (a) the trajectory of the robot from CamVox; (b) the dense RGBD map from CamVox; (c) a magnified and rotated part of (b) demonstrating high point cloud quality.

실험 결과

연구 질문

• RQ1 Livox 라이다의 반복되지 않는 스캔 패턴을 통해 비제어적 실외 환경에서도 자동으로 강력한 카메라-라이다 캘리브레이션을 수행할 수 있는가?
• RQ2 고범위·고정밀도 라이다 데이터 통합이 단안 또는 스테레오 시각 SLAM 대비 대규모 실외 환경에서의 성능 향상에 기여하는 정도는 어떠한가?
• RQ3 라이다 보조 시각 SLAM에서 '근접' 키포인트를 분류하기 위한 최적의 깊이 임계값은 무엇인가? 이는 특징 추적 및 맵핑 효율을 극대화하는가?
• RQ4 실제 환경 조건에서 CamVox 시스템이 주요 SLAM 프레임워크(VINS-mono, LOAM 등)를 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 저비용 라이다 보조 SLAM 시스템이 임베디드 하드웨어에서 고정밀도와 내성 강도를 유지하면서도 실시간 성능을 달성할 수 있는가?

주요 결과

• 자동 카메라-라이다 캘리브레이션 방법은 약 5.88의 캘리브레이션 오차를 기록했으며, 최고 수준의 수동 캘리브레이션 결과(5.88)에 매우 가까운 정확도를 보이며 비제어적 장면에서의 높은 정확도를 입증한다.
• SUSTech 데이터셋에서 평균 절대 자세 오차(MAPE)는 1.7m로, VINS-mono(6.7m)와 livox_horizon_loam(6.2m)를 크게 앞서며 뛰어난 궤적 정확도를 확보한다.
• 근접 키포인트 분류에 130m 깊이 임계값을 사용할 경우 특징 추적 효율이 극대화되며, 낮은 임계값 대비 5번째 프레임에서 매칭 포인트 수가 58% 증가한다.
• CamVox는 내장형 Manifold 2C 시스템에서 실시간 성능을 달성했으며, 추적(42.27ms), 맵핑(252.41ms), 루프 클로징(7821.22ms) 처리 시간이 실시간 운영에 적합하다.
• 200미터까지의 스케일을 갖는 고품질의 밀도 높은 RGBD 맵을 생성하며, 그림 1에서 보듯이 강한 햇빛 환경에서도 높은 포인트 클라우드 품질을 유지한다.
• 시간 분석 결과, 캘리브레이션은 58.16초가 소요되나, 정지 상태에서 희소하게 실행되기 때문에 실시간 성능에 지장을 주지 않으며, 성능 유지에 기여한다.

Figure 2: Point cloud density of three Livox lidar models compared to traditional lidars as a function of integration time.