[논문 리뷰] Ground Plane based Absolute Scale Estimation for Monocular Visual Odometry

Dingfu Zhou, Yuchao Dai외 1명|arXiv (Cornell University)|2019. 03. 03.

Robotics and Sensor-Based Localization참고 문헌 57인용 수 6

한 줄 요약

이 논문은 단일 영상 시각 옵티컬 플로우에서의 척도 모호성 문제를 해결하기 위해 지상 평면 기반 절대 척도 추정 및 보정 방법을 제안한다. 카메라 높이와 평면 표면 가정을 활용하여 척도 드리프트를 감소시킨다. KITTI 및 자체 수집한 피시아이 카메라 데이터셋에서 평가한 결과, 기준선 ORB-SLAM(척도 보정 없음) 대비 시퀀스 00에서 이동 오차를 10% 이상 감소시켜 궤적 정확도를 크게 향상시켰다.

ABSTRACT

Recovering the absolute metric scale from a monocular camera is a challenging but highly desirable problem for monocular camera-based systems. By using different kinds of cues, various approaches have been proposed for scale estimation, such as camera height, object size etc. In this paper, firstly, we summarize different kinds of scale estimation approaches. Then, we propose a robust divide and conquer the absolute scale estimation method based on the ground plane and camera height by analyzing the advantages and disadvantages of different approaches. By using the estimated scale, an effective scale correction strategy has been proposed to reduce the scale drift during the Monocular Visual Odometry (VO) estimation process. Finally, the effectiveness and robustness of the proposed method have been verified on both public and self-collected image sequences.

연구 동기 및 목표

• 단일 카메라 영상만으로는 메트릭 척도를 복원할 수 없기 때문에, 단일 영상 시각 옵티컬 플로우에서의 척도 모호성이라는 근본적 과제를 해결한다.
• 지상 평면 기하학과 알려진 카메라 높이를 활용하여 안정적인 절대 척도 추정 방법을 개발한다.
• 지속적인 VO 추정 과정에서 척도 드리프트를 완화하기 위해 효과적인 척도 보정 전략을 도입한다.
• 어려운 주행 조건에서 다양한 실제 환경 데이터셋(예: KITTI 및 자체 수집한 피시아이 시퀀스)에서 방법을 검증한다.
• 루프 클로징 또는 외부 센서에 의존하지 않는 실용적인, 센서 융합 기반의 솔루션을 제공하여 단일 영상 VO 정확도를 향상시킨다.

제안 방법

• 차량이 평탄한 도로를 주행한다고 가정할 때, 카메라 높이와 평면 지상 표면의 기하 제약 조건을 조합하여 절대 척도를 추정한다.
• 이미지를 영역으로 분할하고 하단 영역(지상 평면 근처)만을 사용하여 척도 추정에 활용함으로써 안정성을 향상시키기 위해 분할-정복 전략을 적용한다.
• 캘리브레이션된 카메라 모델과 사전 측정된 카메라 높이 및 피치 각도를 사용하여 3차원 점을 지면 평면에 투영하여 척도를 계산한다.
• ORB-SLAM 프레임워크에 척도 보정 메커니즘을 통합하여, 프레임 간 지상 평면 일관성에 기반해 스케일 요소를 동적으로 조정한다.
• 시간적 일관성 검증 및 다중 프레임에 걸친 특징 추적을 통해 척도 추정을 정밀화하고 드리프트를 감소시킨다.
• 합성 및 실제 환경 시퀀스를 사용하여 척도 추정 모델을 校정하고 검증함으로써 다양한 조건 하에서도 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 외부 센서 없이도 지상 평면 기하학과 알려진 카메라 높이를 신뢰성 있게 활용하여 단일 영상 시각 옵티컬 플로우에서 절대 척도를 추정할 수 있는가?
• RQ2 분할-정복 전략이 지상 평면 특징를 분리하여 척도 추정의 안정성을 향상시키는 데 얼마나 효과적인가?
• RQ3 장거리 주행 중 누적 척도 드리프트를 척도 보정이 얼마나 감소시킬 수 있는가?
• RQ4 KITTI 00 및 09–10와 같은 어려운 시퀀스에서, 루프 클로징 유무에 관계없이 최신 기술 기반 방법(예: ORB-SLAM)과 비교해 본다면 본 방법은 어떻게 성능을 내는가?
• RQ5 실제 환경에서 측면에 장착된 피시아이 렌즈와 같은 전방을 향하지 않는 카메라에 대해서도 본 방법은 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 척도 보정 전략은 ORB-SLAM(척도 보정 없음) 대비 KITTI 시퀀스 00에서 이동 오차를 10% 이상 감소시켰다.
• 루프 클로징에 실패한 KITTI 시퀀스 09와 10에서는, 제안된 방법(척도 보정 포함)이 기준선 방법보다 실제 궤적에 훨씬 가까운 궤적을 생성하였다.
• 자신이 수집한 피시아이 카메라 데이터셋에서도 본 방법은 높은 안정성을 보였으며, 보정되지 않은 경우에 비해 상당한 척도 드리프트가 발생했음에도 불구하고 보정된 궤적이 실제 도로 경로와 밀도적으로 일치하였다.
• 척도 보정 유무에 관계없이 회전 오차는 거의 변화가 없었으며, 이는 본 방법이 척도 드리프트에만 영향을 주며 회전 오차에는 영향을 주지 않는다는 것을 확인한다.
• 루프 클로징이나 추가 데이터(예: NYUv2, 스테레오 쌍)에 의존하는 방법들보다도, 루프가 존재하지 않거나 특징의 수명이 짧은 상황에서 본 방법이 더 뛰어난 성능을 보였다.
• 시간적 일관성과 프레임 간 특징 추적을 활용함으로써, 지상 평면이 부분적으로 가림을 입더라도 본 방법은 여전히 효과적으로 기능한다.