[논문 리뷰] Challenges in Monocular Visual Odometry: Photometric Calibration, Motion Bias and Rolling Shutter Effect

Nan Yang, Rui Wang외 2명|arXiv (Cornell University)|2017. 05. 11.

Robotics and Sensor-Based Localization참고 문헌 21인용 수 9

한 줄 요약

이 논문은 직접적(DSO), 반직접적(SVO), 특징 기반(ORB-SLAM) 방법을 포함한 최신 단안 시각적 오도메트리(VO) 방법에 대한 광학 캘리브레이션, 운동 편향, 롤링 셔터 효과의 영향을 체계적으로 평가한다. 이는 예상치 못한 결과를 드러내며, 예를 들어 특징 기반 방법에서는 활성 카메라 제어와 병행하지 않는 한 광학 캘리브레이션이 제한된 이점을 제공한다는 점과, 부분화소 정밀도 보정이 ORB-SLAM 성능을 크게 향상시킬 수 있음을 보여주며, 직접적 및 반직접적 방법은 현실적인 조건에서 롤링 셔터 왜곡에 더 민감하다는 것을 확인한다.

ABSTRACT

Monocular visual odometry (VO) and simultaneous localization and mapping (SLAM) have seen tremendous improvements in accuracy, robustness and efficiency, and have gained increasing popularity over recent years. Nevertheless, not so many discussions have been carried out to reveal the influences of three very influential yet easily overlooked aspects: photometric calibration, motion bias and rolling shutter effect. In this work, we evaluate these three aspects quantitatively on the state of the art of direct, feature-based and semi-direct methods, providing the community with useful practical knowledge both for better applying existing methods and developing new algorithms of VO and SLAM. Conclusions (some of which are counter-intuitive) are drawn with both technical and empirical analyses to all of our experiments. Possible improvements on existing methods are directed or proposed, such as a sub-pixel accuracy refinement of ORB-SLAM which boosts its performance.

연구 동기 및 목표

• 현대의 단안 시각적 오도메트리(VO) 시스템에 대한 광학 캘리브레이션, 운동 편향, 롤링 셔터 효과의 영향을 체계적으로 평가하는 것.
• 기존 VO/SLAM 알고리즘의 개선과 향후 알고리즘 설계를 위한 실용적 통찰을 제공하는 것.
• 최신 산업용 카메라의 빠른 읽기 속도를 고려한 현실적 및 시뮬레이션 조건에서 직접적, 반직접적, 특징 기반 방법의 성능을 평가하는 것.
• 예상치 못한 행동, 예를 들어 특징 기반 방법에서의 전진-후진 성능 차이 및 고속 카메라에서 롤링 셔터의 영향이 제한적인 현상을 식별하고 분석하는 것.
• 실제 실험을 통해 검증된 부분화소 정밀도 보정 모듈을 통한 실용적 개선 사항 제안, ORB-SLAM에 적용.

제안 방법

• 실제 및 시뮬레이션 데이터셋을 사용하여 DSO(직접적), SVO 2.0(반직접적), ORB-SLAM(특징 기반)에 대한 광학 캘리브레이션의 정량적 평가.
• 운동 편향 분석을 위해 전진 및 후진 VO 실행을 구현하며, 깊이 표현, 점 선택, 이산화 아티팩트에 중점을 둔다.
• 합성 롤링 셔터 시퀀스(ICL-NUIM)와 도시스케이프 데이터셋(Frankfurt 시퀀스)의 실제 롤링 셔터 시퀀스를 평가.
• 고속 산업용 카메라를 활용해, 특히 읽기 속도가 빠를 경우 롤링 셔터 효과의 실제 영향을 평가.
• ORB-SLAM의 특징 추출 및 매칭 정밀도 향상을 위한 부분화소 정밀도 보정 모듈 설계 및 구현.
• 장면 텍스처, 밝기 변화, 카메라 반응 함수에 중점을 두고, 다양한 방법 간 성능 차이에 대한 경험적 및 기술적 분석 수행.

실험 결과

연구 질문

• RQ1 광학 캘리브레이션은 직접적, 반직접적, 특징 기반 단안 VO 방법에 어떤 영향을 미치는가?
• RQ2 왜 특징 기반 VO는 전진 실행과 후진 실행에서 상당한 성능 차이를 보이며, 이 운동 편향의 원인은 무엇인가?
• RQ3 롤링 셔터 효과는 직접적, 반직접적, 특징 기반 VO 시스템의 정확성에 어떤 영향을 미치며, 특히 현실적인 고속 카메라 조건에서 어떻게 영향을 미치는가?
• RQ4 롤링 셔터 효과가 VO 성능 저하의 주요 원인이 되는 조건은 언제이며, 언제는 무시할 수 있는가?
• RQ5 특징 기반 VO 시스템(예: ORB-SLAM)의 특징 추출 및 매칭에 부분화소 정밀도 보정을 적용하면 성능 향상이 상당히 이루어지는가?

주요 결과

• 광학 캘리브레이션은 DSO와 같은 직접적 방법에 상당한 향상을 가져오지만, ORB-SLAM과 같은 특징 기반 방법에는 활성 카메라 제어를 통해 일관된 이미지 품질을 확보하지 않는 한 제한된 영향을 미친다.
• 특징 기반 방법은 전진 및 후진 실행에서 상당한 운동 편향을 보이며, 주로 깊이 표현, 점 관리, 특징 매칭의 이산화 아티팩트 때문이지만, 이는 주로 깊이 표현, 점 선택, 이산화 아티팩트에 기인한다.
• 롤링 셔터 효과는 직접적 및 반직접적 방법에 특징 기반 방법보다 더 큰 영향을 미치지만, 픽셀 읽기 속도가 빠른(현대 산업용 카메라의 특성과 유사) 조건에서는 효과가 무시할 수 있을 정도로 낮아지며, 직접적 방법에도 영향을 미치지 않는다.
• 저조도 텍스처 환경(예: 실내 복도)에서는 직접적 및 반직접적 방법(DSO 및 SVO)이 ORB-SLAM보다 뛰어난 성능을 보이며, 이미지 강도 기울기를 더 효과적으로 활용함에도 불구하고 롤링 셔터 조건에서도 성능이 뛰어나다.
• 제안된 ORB-SLAM용 부분화소 정밀도 보정은 성능 향상에 상당한 기여를 하며, 세밀한 특징 매칭이 특징 기반 접근법의 한계를 상쇄시킬 수 있음을 입증한다.
• 도시스케이프 데이터셋의 실제 롤링 셔터 시퀀스 분석 결과, ORB-SLAM은 강한 회전이나 가림 상황에서 실패를 보이며, 이는 실패 원인이 주로 롤링 셔터 때문이 아니라 특징의 불안정성 때문임을 시사한다.