[논문 리뷰] LIMO: Lidar-Monocular Visual Odometry

Johannes Graeter, Alexander Wilczynski외 1명|arXiv (Cornell University)|2018. 07. 19.

Robotics and Sensor-Based Localization참고 문헌 20인용 수 9

한 줄 요약

LIMO는 로컬 평면 피팅과 의미적 레이블링을 통해 단일 카메라 특징 추적과 LIDAR에서 유도된 깊이 추정치를 융합하는 라이다-단일화상 시각적 오도메트리 시스템을 제안한다. 이 시스템은 키프레임 기반의 백터 조정 프레임워크에 이러한 깊이 추정치를 통합함으로써 루프 클로징이나 ICP 기반 정밀화 없이도 KITTI 벤치마크에서 번역 오차 13위, 회전 오차 11위의 최신 기술 수준 성능을 달성한다.

ABSTRACT

Higher level functionality in autonomous driving depends strongly on a precise motion estimate of the vehicle. Powerful algorithms have been developed. However, their great majority focuses on either binocular imagery or pure LIDAR measurements. The promising combination of camera and LIDAR for visual localization has mostly been unattended. In this work we fill this gap, by proposing a depth extraction algorithm from LIDAR measurements for camera feature tracks and estimating motion by robustified keyframe based Bundle Adjustment. Semantic labeling is used for outlier rejection and weighting of vegetation landmarks. The capability of this sensor combination is demonstrated on the competitive KITTI dataset, achieving a placement among the top 15. The code is released to the community.

연구 동기 및 목표

• 단일 카메라와 LIDAR를 별도로 사용하는 경우가 많지만, 이를 통합하여 강력하고 정확한 시각적 오도메트리를 제공할 수 있는 미충족된 필요를 해결하고자 한다.
• 카메라 기반 특징 추적과 LIDAR의 정밀한 깊이 측정 간의 도메인 갭을 신뢰할 수 있는 깊이 연관 방법을 통해 해소하고자 한다.
• 의미적 레이블링과 지면 평면 포인트의 특수 처리를 통해 고속 주행 및 낮은 무늬 환경에서의 도로 터널 환경에서도 궤적 정확도를 향상시키고 드리프트를 감소시키고자 한다.
• 루프 클로징 없이도 실시간 온라인 시각적 오도메트리를 가능하게 하기 위해 계산 효율성을 고려한 키프레임 및 지표점 선택 최적화를 수행하고자 한다.
• 라이다와 카메라 데이터의 상호보완적 강점을 활용하여 기존의 단일 및 스테레오 VSLAM 시스템을 초월하는 성능을 달성하고자 한다.

제안 방법

• LIMO는 단일화상 특징 점을 라이다 포인트 클라우드에 투영하고, 근처의 라이다 포인트에 국소 평면을 피팅하여 깊이를 추정한다.
• 국소 평면 가정을 적용하여 이상치를 거부하고, 고속도로 환경에서의 강건성을 향상시키기 위해 지면 평면 포인트를 별도로 처리한다.
• 딥 네트워크(시티스케이프 훈련 기반)를 통한 의미적 세그멘테이션은 특징를 식별하여 최적화 과정에서 의미 기반 가중치를 적용할 수 있도록 한다.
• 기하학적 및 의미적 기준에 따라 지표점을 선택하고 제거하여 계산 부담을 감소시키고 강건성을 향상시킨다.
• 키프레임 기반의 백터 조정 프레임워크는 깊이 추정 특징과 카메라 자세를 통합하여 시간에 따라 재투영 오차를 최소화한다.
• 사전 추정치와 프레임 간 운동 통합을 사용하여 키프레임 간 저지연 자세 추정을 유지한다.

실험 결과

연구 질문

• RQ1 라이다에서 유도된 깊이 추정치를 단일화상 특징 트랙에 신뢰성 있게 연관시켜 시각적 오도메트리 정확도를 향상시킬 수 있는가?
• RQ2 지표점의 의미적 레이블링(예: 식생 대비 인프라)은 시각적 오도메트리의 강건성과 정확도에 어떤 영향을 미치는가?
• RQ3 라이다에서 유도된 깊이 제약 조건을 포함한 키프레임 기반 백터 조정 프레임워크는 루프 클로징 없이 최신 기술 수준의 단일 및 스테레오 VSLAM 시스템을 초월할 수 있는가?
• RQ4 고속 주행 및 낮은 무늬 환경에서 지면 평면 포인트에 특수 처리를 적용했을 때의 성능에 미치는 영향은 무엇인가?
• RQ5 라이다 깊이 통합은 궤적 종점 정확도에 핵심적인 영향을 미치는 회전 추정을 어떻게 향상시키는가?

주요 결과

• LIMO는 KITTI 벤치마크에서 평균 번역 오차 0.93%와 회전 오차 0.0026°/m를 기록하여 번역 오차 13위, 회전 오차 11위를 기록했다.
• 프레임 간 기준(라이비오도) 대비 약 40%의 회전 오차 감소를 기록하여, 라이다 깊이를 통합한 백터 조정의 상당한 이점이 입증되었다.
• ORB-SLAM2와 스테레오 LSD-SLAM을 모두 능가하여, ICP 기반 요소가 없는 라이다-카메라 시각적 오도메트리 시스템 중 최고의 성능을 확보했다.
• 식생 지표점 가중치 0.9가 최적의 결과를 제공했지만, 최적의 가중치는 시퀀스에 따라 다름을 확인하여 장면에 따라 복잡한 동적 특성을 지님을 시사했다.
• 루프 클로징 없이도 수 킬로미터에 걸쳐 매우 낮은 드리프트를 보이며 궤적 안정성을 입증했고, 깊이 보조 백터 조정의 효과성을 확인했다.
• 4개의 CPU 코어에서 5 Hz로 실행되어 실시간 온라인 시각적 오도메트리 응용에 대한 실현 가능성을 입증했다.