[논문 리뷰] A Photometrically Calibrated Benchmark For Monocular Visual Odometry

Jakob Engel, Vladyslav Usenko외 1명|arXiv (Cornell University)|2016. 07. 09.

Robotics and Sensor-Based Localization참고 문헌 17인용 수 150

한 줄 요약

50개의 실제 세계 단일 카메라 VO/SLAM 시퀀스를 photometrically 보정한 TUM monoVO 벤치마크를 소개하며, 전체 ground-truth 궤적 없이 루프-클로저 드리프트를 통해 평가 가능.

ABSTRACT

We present a dataset for evaluating the tracking accuracy of monocular visual odometry and SLAM methods. It contains 50 real-world sequences comprising more than 100 minutes of video, recorded across dozens of different environments -- ranging from narrow indoor corridors to wide outdoor scenes. All sequences contain mostly exploring camera motion, starting and ending at the same position. This allows to evaluate tracking accuracy via the accumulated drift from start to end, without requiring ground truth for the full sequence. In contrast to existing datasets, all sequences are photometrically calibrated. We provide exposure times for each frame as reported by the sensor, the camera response function, and dense lens attenuation factors. We also propose a novel, simple approach to non-parametric vignette calibration, which requires minimal set-up and is easy to reproduce. Finally, we thoroughly evaluate two existing methods (ORB-SLAM and DSO) on the dataset, including an analysis of the effect of image resolution, camera field of view, and the camera motion direction.

연구 동기 및 목표

• 다양한 환경을 아우르는 대규모 단일 카메라 VO/SLAM 벤치마크를 제공하여 전체 ground-truth 포즈 없이도 강건한 추적 정확도 평가를 가능하게 한다.
• 실 센서 파이프라인을 반영하기 위해 광보정(카메라 응답 함수 G 및 비네팅 맵 V)과 노출 시간을 포함한다.
• 루프 클로저 기반 평가 방법론을 제안하여 긴 시퀀스에서 누적 드리프트를 측정한다.
• 비모수적 비네팅 보정 및 광보정에 대한 간단하고 재현 가능한 보정 절차를 제공한다.
• 표준화된 벤치마킹을 촉진하기 위해 코드, 원시 데이터 및 평가 도구를 공개한다.

제안 방법

• 두 개의 어안 렌즈와 다양한 프레임 속도로 합계 105분의 50개 시퀀스를 캡처한다.
• 어안 광학에 적합한 FOV 왜곡 모델로 기하를 보정한다.
• 다중 노출 정적 장면으로 카메라 응답 함수 G와 비네팅 맵 V를 포함한 광보정을 추정한다.
• 최소한의 설정으로 비네팅 보정에 비모수적 접근을 사용한다.
• 루프 클로저 기반 평가를 정의하여 시작과 끝 구간을 정렬하고 전체 ground-truth 궤적과 무관하게 드리프트를 측정한다.
• 데이터세트에 대해 해상도, FOV, 모션 패턴이 다양한 상태에서 ORB-SLAM과 Direct Sparse Odometry (DSO)를 평가한다.

실험 결과

연구 질문

• RQ1 광보정(응답 함수 및 비네팅)이 실제 시퀀스에서 단일 카메라 VO/SLAM 성능에 어떤 영향을 미치는가?
• RQ2 대규모 다채로운 데이터세트에서 이미지 해상도, 시야(FOV), 카메라 모션 방향이 VO/SLAM 방법의 정확도와 견고성에 미치는 영향은 무엇인가?
• RQ3 루프 클로저 기반 드리프트 지표가 전체 ground-truth 데이터 없이도 단일 카메라 VO/SLAM 방법을 신뢰성 있게 비교할 수 있는가?
• RQ4 광보정 적용 시 ORB-SLAM과 DSO 같은 최신 방법들이 실내외 다양한 환경에서 어떻게 성능을 보이는가?
• RQ5 실제 설정에서 비모수적 비네팅 보정 접근법의 이점은 무엇인가?

주요 결과

• 데이터셋은 50개 시퀀스와 105분 분량의 비디오 및 노출 시간 메타데이터를 포함하고 있어 전체 ground-truth 궤적 없이 드리프트 기반 평가가 가능하다.
• 광보정은 카메라 응답과 밀집 비네팅 맵을 포함하여 직접 방법의 평가 현실성을 향상시킨다.
• 두 가지 기준 방법(ORB-SLAM 및 DSO)을 평가했으며 시야, 해상도, 모션 방향에 대한 민감도를 드러내고 다중 실행에 걸친 정량적 비교가 제시된다.
• 평가 프레임워크는 시퀀스 내 드리프트 위치가 오차 지표에 미치는 영향을 보여주고 정렬 기반의 “alignment error”를 강건한 전반적 척도로 권장한다.
• 결과는 더 작은 FOV가 두 방법의 정확도를 저하시키는 반면, 직접 방법은 해상도에 대해 서로 다른 민감도를 보이고(DSO는 덜 영향 받음) 를 보여준다.
• 이 논문은 광보정 및 평가를 재현하기 위한 오픈 소스 코드, 원시 데이터 및 스크립트를 제공한다.