[논문 리뷰] Visual-LiDAR Odometry and Mapping with Monocular Scale Correction and Visual Bootstrapping

Hanyu Cai, Ni Ou외 1명|arXiv (Cornell University)|2023. 04. 18.

Robotics and Sensor-Based Localization인용 수 5

한 줄 요약

이 논문은 시각적 온도메트리와 LiDAR 온도메트리 간에 유사 결합된 시각-LiDAR SLAM 시스템을 제안한다. 이 시스템은 시각적 부스터링과 새로운 스케일 보정 방법을 통해 단안 시각 온도메트리와 LiDAR 온도메트리를 통합한다. 스케일 보정기는 시각적 특징에서 유도된 삼각측량 거리와 LiDAR에서 제공하는 거리 간의 비율을 계산하여, 깊이 증강 없이도 단안 스케일 드리프트를 보정한다. 동시에, 시각 온도메트리가 LiDAR 자세 추정을 초기화하여 내성적 안정성을 향상시킨다. 이 시스템은 A-LOAM보다 더 낮은 변위 드리프트를 달성하였고, 특히 환경이 열악한 상황에서 스테레오 ORB-SLAM2와 유사한 성능을 보였다.

ABSTRACT

This paper presents a novel visual-LiDAR odometry and mapping method with low-drift characteristics. The proposed method is based on two popular approaches, ORB-SLAM and A-LOAM, with monocular scale correction and visual-bootstrapped LiDAR poses initialization modifications. The scale corrector calculates the proportion between the depth of image keypoints recovered by triangulation and that provided by LiDAR, using an outlier rejection process for accuracy improvement. Concerning LiDAR poses initialization, the visual odometry approach gives the initial guesses of LiDAR motions for better performance. This methodology is not only applicable to high-resolution LiDAR but can also adapt to low-resolution LiDAR. To evaluate the proposed SLAM system's robustness and accuracy, we conducted experiments on the KITTI Odometry and S3E datasets. Experimental results illustrate that our method significantly outperforms standalone ORB-SLAM2 and A-LOAM. Furthermore, regarding the accuracy of visual odometry with scale correction, our method performs similarly to the stereo-mode ORB-SLAM2.

연구 동기 및 목표

• 깊이 증강을 요구하지 않는 스케일 보정 방법을 도입하여 단안 시각 온도메트리에서 발생하는 스케일 드리프트 문제를 해결한다.
• 시각 온도메트리 결과를 활용해 LiDAR 온도메트리의 자세 추정을 초기화함으로써 어려운 환경에서의 안정성을 향상시킨다.
• 독립된 시스템보다 우수한 성능을 내기 위해 시각 및 LiDAR 온도메트리를 융합하는 느슨한 결합 아키텍처를 개발한다.
• 밀도 높은 점군에 의존하지 않기 때문에 고해상도 및 저해상도 LiDAR 모두와 호환성을 확보한다.
• KITTI 및 S3E 데이터셋에서 A-LOAM과 ORB-SLAM2보다 뛰어난 성능을 입증하며, 특히 운동 왜곡이 발생하는 상황에서 유의미한 성능 향상을 보였다.

제안 방법

• 스케일 보정기는 시각적 키포인트에서 유도된 삼각측량 거리와 LiDAR가 제공하는 거리 간의 비율을 계산하며, 이상치 제거 기법을 통해 정확도를 향상시킨다.
• 시각 온도메트리가 A-LOAM의 자세 추정을 초기화함으로써, 초기 자세 추정 오차를 감소시키고 고가속도 또는 낮은 특징 밀도 환경에서의 수렴 성능을 향상시킨다.
• 시스템은 시각 및 LiDAR 온도메트리가 병렬로 작동하는 느슨한 결합 아키텍처를 사용하며, 시각 온도메트리가 스케일 보정을 담당하고 LiDAR 온도메트리가 강력한 운동 추정을 수행한다.
• A-LOAM의 자세 추정 성능은 시각 온도메트리 초기화 덕분에 향상되어, 고가속도나 낮은 특징 밀도 환경에서의 실패를 줄였다.
• 국소 최적화는 첫 번째 关건 프레임을 기준으로 하여 안정성을 향상시키고 최적화 중 드리프트를 감소시킨다.
• 궤적 정렬은 Umeyama의 방법과 evo 도구를 사용하여 시각 온도메트리 예측값을 참값과 동기화하여 평가한다.

실험 결과

연구 질문

• RQ1 깊이 증강을 피하는 스케일 보정 방법이 단안 시각 온도메트리의 스케일 드리프트를 효과적으로 줄일 수 있는가?
• RQ2 A-LOAM이 나쁜 초기 자세 추정으로 실패하는 상황에서, 시각 온도메트리 결과로 LiDAR 온도메트리의 자세 추정을 초기화하면 성능 향상이 이루어지는가?
• RQ3 제안된 느슨한 결합 시각-LiDAR SLAM 시스템은 표준 벤치마크에서 단독으로 작동하는 ORB-SLAM2 및 A-LOAM에 비해 드리프트와 정확성 측면에서 어떻게 비교되는가?
• RQ4 저해상도 LiDAR(예: VLP-16)에서도 시스템이 내성적 안정성과 정확성을 유지할 수 있는가?
• RQ5 시각적 부스터링이 흐린 특징이 많은 열악한 환경에서 LiDAR 온도메트리의 실패 비율을 얼마나 줄이는가?

주요 결과

• 제안된 스케일 보정기는 루프 클로징 없이도 스테레오 모드 ORB-SLAM2와 유사한 절대 변위 및 회전 오차 성능을 달성할 수 있도록 한다.
• KITTI 데이터셋에서 시스템은 기준 A-LOAM 대비 유의미하게 낮은 변위 드리프트를 기록했으며, 회전 드리프트는 다소 낮은 편이었다.
• S3E 데이터셋에서 시스템은 정량적 지표와 정성적 성능 모두에서 A-LOAM를 뛰어넘었으며, 특히 특징이 희박하고 운동 왜곡이 발생하는 상황에서 뚜렷한 성능 향상을 보였다.
• 시각적 부스터링은 A-LOAM 최적화의 반복 횟수를 감소시키고, 흐린 나무가 많고 곡선이 많은 도로에서 국소 최소값에 수렴하는 것을 방지함을 정성적 결과를 통해 입증했다.
• 저해상도 LiDAR(VLP-16)에서도 시스템은 내성적 안정성을 유지했으며, SDV-LOAM는 이 센서와 호환되지 않아 S3E 데이터셋에서 실패한 반면, 본 시스템은 성공적으로 작동했다.
• 저조도나 낮은 무늬 특징이 있는 상황(예: 큰 회전, 낮은 무늬)에서는 A-LOAM가 큰 오차를 발생시키지만, 제안된 시스템은 정확한 자세 추정을 유지함을 그림 7을 통해 입증했다.