[논문 리뷰] A Synchronized Stereo and Plenoptic Visual Odometry Dataset

Niclas Zeller, Franz Quint외 1명|arXiv (Cornell University)|2018. 07. 24.

Robotics and Sensor-Based Localization참고 문헌 21인용 수 7

한 줄 요약

이 논문은 캘리브레이션된 내재 매개변수와 루프 클로징에서 유도된 진짜값을 갖는 수동 플랫폼에서 기록된 동기화된 스테레오 및 플레노픽 비전 옵오메트리 데이터셋을 제시한다. 이 데이터셋은 단안, 스테레오, 플레노픽 VO 알고리즘 간의 정량적 비교를 가능하게 하며, 저조도 민감도와 운동 왜곡의 과제에도 불구하고 플레노픽 기반 방법이 경쟁적인 드리프트 성능을 달성하고 있음을 보여준다.

ABSTRACT

We present a new dataset to evaluate monocular, stereo, and plenoptic camera based visual odometry algorithms. The dataset comprises a set of synchronized image sequences recorded by a micro lens array (MLA) based plenoptic camera and a stereo camera system. For this, the stereo cameras and the plenoptic camera were assembled on a common hand-held platform. All sequences are recorded in a very large loop, where beginning and end show the same scene. Therefore, the tracking accuracy of a visual odometry algorithm can be measured from the drift between beginning and end of the sequence. For both, the plenoptic camera and the stereo system, we supply full intrinsic camera models, as well as vignetting data. The dataset consists of 11 sequences which were recorded in challenging indoor and outdoor scenarios. We present, by way of example, the results achieved by state-of-the-art algorithms.

연구 동기 및 목표

• 플레노픽 카메라 기반 비전 옵오메트리(VO) 알고리즘을 평가하기 위한 공개된 동기화 데이터셋의 부족을 해결하기 위해.
• 공통의 벤치마크 플랫폼을 사용하여 스테레오, 단안, 플레노픽 VO 시스템 간의 정량적 비교를 가능하게 하기 위해.
• 시작점과 끝점의 장면이 동일한 대규모 루프 트랙토리 데이터셋을 제공하여 드리프트 측정을 가능하게 하기 위해.
• 스테레오 및 플레노픽 카메라 모두의 내재 매개변수와 비닝게이팅 데이터를 포함한 완전한 카메라 캘리브레이션 데이터를 제공하기 위해.
• 다양한 센서 유형 간 성능 트레이드오���을 평가하기 위해 최신 VO 알고리즘을 통합된 데이터셋에서 평가하기 위해.

제안 방법

• 맞춤형 수동 플랫폼이 마이크로렌즈 어레이(MLA) 기반 플레노픽 카메라(Raytrix R5)와 스테레오 카메라 시스템(두 대의 IDS UI-3241LE-M-GL 흑백 글로벌 셔터 카메라)을 통합한다.
• 스테레오 시스템은 100 mm 기준거리와 4 mm 초점거리 렌즈를 사용하며, 플레노픽 카메라는 16 mm 메인 렌즈와 f/2.8 조리개를 사용한다.
• 동기화는 한 스테레오 카메라를 마스터로 설정하고, 나머지 스테레오 카메라와 플레노픽 카메라를 슬레이브 모드로 트리거하여 달성된다.
• 모든 카메라가 30 fps 이상으로 8비트 양자화를 사용하며, 운동 왜곡을 최소화하기 위해 노출 시간을 8 ms 이내로 제한한다.
• 기하학적 카메라 캘리브레이션 및 비닝게이팅 데이터가 스테레오 및 플레노픽 카메라 모두에 제공된다.
• 진짜값은 루프 클로징에서 유도된다: 각 시퀀스의 시작과 끝이 동일한 장면을 촬영하여 트랙토리 정렬을 통한 드리프트 측정이 가능하다.

실험 결과

연구 질문

• RQ1 동기화된 대규모 루프 트랙토리에서 플레노픽 카메라 기반 비전 옵오메트리의 성능이 스테레오 및 단안 VO와 비교하여 어떻게 되는가?
• RQ2 장면 특성(예: 복도, 계단, 동적 물체 등)이 플레노픽 VO의 드리프트 성능에 미치는 영향은 무엇인가?
• RQ3 센서 민감도, 해상도, 시야각의 차이가 스테레오 및 플레노픽 시스템 간의 VO 알고리즘 정확도와 강건성에 미치는 영향은 어떠한가?
• RQ4 대규모 트랙토리에서의 루프 클로징가 비전 옵오메트리 드리프트 평가를 위한 신뢰할 수 있는 진짜값으로 사용될 수 있는 정도는 어느 정도인가?
• RQ5 RGB 플레노픽과 흑백 스테레오 센서 간의 노출 차이와 노이즈 수준의 차이가 VO 성능에 미치는 영향은 어떠한가?

주요 결과

• 플레노픽 기반 VO 알고리즘(SPO [17])은 대부분의 시퀀스에서 절대 척도 오차가 1.5% 이하이며, 시퀀스 #1에서 최저 오차 0.4%를 기록한다.
• SPO의 척도 드리프트 범위는 트랙토리 길이의 0.5%에서 2.5% 사이이며, 시퀀스 #2와 #3에서는 단안 ORB2를 능가하지만, 저조도와 광각 제한으로 인해 시퀀스 #7과 #8에서는 성능이 열 劣한다.
• 시퀀스 #5(이동 중인 밴이 있는 실외)에서는 SPO가 빛장치 이미지의 가림 현상으로 인해 더 높은 드리프트(최대 3.5%)를 보이며, 반면 스테레오 및 단안 방법은 더 넓은 시야각으로 유리하다.
• SPO의 정렬 오차는 트랙토리 길이의 0.8%에서 2.1% 사이로, 중간 정도의 트랙토리 드리프트를 나타내며, 풍부한 무늬와 안정된 조명 조건이 있는 시퀀스에서 최고 성능을 기록한다.
• 플레노픽 카메라의 낮은 조도 민감도(색상 센서와 마이크로렌즈 조리개로 인해)는 더 높은 노이즈를 유발하지만, 6 dB의 하드웨어 이득으로 부분적으로 상쇄된다.
• 센서의 차이에도 불구하고 이 데이터셋은 유효한 비교 평가를 가능하게 하며, 플레노픽 VO가 전통적인 스테레오 및 단안 접근법에 비해 유망한 대안임을 보여준다.