[논문 리뷰] Degeneracy in Self-Calibration Revisited and a Deep Learning Solution for Uncalibrated SLAM

Bingbing Zhuang, Quoc-Huy Tran외 4명|arXiv (Cornell University)|2019. 07. 30.

Robotics and Sensor-Based Localization참고 문헌 44인용 수 4

한 줄 요약

이 논문은 반경 방향 왜곡(Self-calibration)의 기하학적 퇱성 문제를 재검토하고, 합성 데이터로 훈련된 깊이 학습 기반 단일 이미지 카메라 자가교정 방법을 제안한다. 이는 깊이 감독을 적용한 CNN을 사용하며, KITTI Raw 및 유튜브의 캘리브레이션되지 않은 영상에서 강인하고 카드보드 무결성 없는 SLAM을 가능하게 하며, 정량적 평가에서 지상 진실값에 매우 가까운 궤적 정확도를 달성한다. 오차 갭은 미미하다.

ABSTRACT

Self-calibration of camera intrinsics and radial distortion has a long history of research in the computer vision community. However, it remains rare to see real applications of such techniques to modern Simultaneous Localization And Mapping (SLAM) systems, especially in driving scenarios. In this paper, we revisit the geometric approach to this problem, and provide a theoretical proof that explicitly shows the ambiguity between radial distortion and scene depth when two-view geometry is used to self-calibrate the radial distortion. In view of such geometric degeneracy, we propose a learning approach that trains a convolutional neural network (CNN) on a large amount of synthetic data. We demonstrate the utility of our proposed method by applying it as a checkerboard-free calibration tool for SLAM, achieving comparable or superior performance to previous learning and hand-crafted methods.

연구 동기 및 목표

• 일반 왜곡 모델과 이산 SfM 설정을 사용하여 정방향 운동 조건 하에서 두 뷰 자가교정의 퇱성 문제를 이론적으로 증명한다.
• 정방향 운동이 반경 방향 왜곡과 장면 깊이 간의 모호성을 유도함으로써 실생활 주행 환경에서 기하학적 방법의 불안정성을 해결한다.
• 단일 캘리브레이션되지 않은 이미지에서 카메라 내부 파rameter와 반경 방향 왜곡을 학습하는 데이터 기반 접근법을 개발하여 카드보드 캘리브레이션 없이 강인한 SLAM를 가능하게 한다.
• KITTI Raw 및 유튜브에서의 실제 영상 시퀀스를 대상으로 제안된 방법의 실현 가능성과 우수성을 입증한다.
• CNN에서의 깊이 감독이 내부 파rameter 및 왜곡 추정에 있어 표준 다중 작업 학습보다 성능을 향상시킨다.

제안 방법

• 일반 왜곡 모델과 이산 구조에서 운동(SfM) 설정을 사용하여 정방향 운동 조건 하에서 두 뷰 반경 왜곡 자가교정의 퇱성을 공식적으로 증명한다.
• 카메라 내부 파rameter를 무작위로 변경하고 캘리브레이션된 이미지에 무작위 반경 왜곡을 적용하여 다량의 합성 데이터셋을 생성한다. 이는 다양한 실제 환경 조건을 시뮬레이션한다.
• 단일 캘리브레이션되지 않은 이미지에서 카메라 내부 파rameter(초점 거리, 주요점)와 반경 왜곡 파ram터를 예측하기 위해 깊이 감독을 적용한 컨volutional 신경망(CNN)을 훈련한다.
• CNN의 중간 레이어에 깊이 감독을 적용하여 반경 왜곡 및 내부 파ram터 추정의 정규화와 정확도를 향상시킨다.
• 두 단계로 구성된 SLAM 파이프라인을 사용한다: 첫 번째로, 네트워크는 첫 100 프레임에서 카메라 파ram터를 추정한다. 두 번째로, 이 파ram터를 사용해 전체 영상 시퀀스를 캘리브레이션한 후 ORB-SLAM에 입력한다.
• 지상 진실값 파ram터와 수작업 기반 방법을 베이스라인으로 사용하여 KITTI Raw 및 유튜브 데이터셋에서 평가한다.

실험 결과

연구 질문

• RQ1 정방향 운동 조건 하에서 두 뷰 반경 왜곡 자가교정의 퇱성의 이론적 원인은 무엇이며, 어떻게 공식적으로 증명할 수 있는가?
• RQ2 반경 왜곡과 장면 깊이 간의 모호성이 주행 환경에서 기하학적 자가교정 방법의 안정성에 어떤 영향을 미치는가?
• RQ3 합성 데이터로 훈련된 딥 러닝 모델이 실제 캘리브레이션되지 않은 영상으로 일반화되어 기존 기하학적 및 수작업 기반 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ4 CNN에서의 깊이 감독이 반경 왜곡 및 내부 파ram터 추정을 위한 단일 이미지 자가교정 정확도를 향상시키는가?
• RQ5 제안된 자가교정 방법을 사용하여 카드보드 캘리브레이션 없이도 캘리브레이션되지 않은 영상에서 강인한 SLAM를 실현할 수 있는가?

주요 결과

• 논문은 정방향 운동 조건 하에서 두 뷰 자가교정의 반경 왜곡이 내재된 반경 왜곡과 장면 깊이 간의 모호성으로 인해 퇱성임을 공식적인 이론적 증명을 통해 제시한다.
• 제안된 CNN 기반 방법은 전체 KITTI Raw 테스트 시퀀스에서 关键 프레임 궤적 추정의 중앙값 루트 평균 제곱 오차(RMSE)가 8.04미터를 기록하였으며, 이는 지상 진실값 RMSE 7.29미터에 매우 가까운 수준이다.
• 수작업 기반 방법('HandCrafted+OVP')은 KITTI Raw 시퀀스에서 ORB-SLAM의 다섯 번의 실행 전부에서 실패했지만, 제안된 방법은 중대한 드리프트 없이 성공적인 SLAM 실행을 가능하게 하였다.
• 유튜브 테스트 시퀀스에서는 제안된 방법이 모든 세 개의 시퀀스에서 ORB-SLAM을 성공적으로 실행하였고, 수작업 기반 방법은 마지막 두 시퀀스에서 초기화 실패로 인해 실패하였다.
• 정성적 결과는 제안된 방법을 사용해 재구성한 장면 구조와 카메라 궤적이 수작업 기반 베이스라인에 비해 훨씬 더 정확하고 왜곡이 적다는 것을 보여준다.
• 이 방법은 실제 캘리브레이션되지 않은 영상으로 잘 일반화되며, 내부 파ram터 및 왜곡 추정에 있어 깊이 감독이 표준 다중 작업 학습보다 더 나은 성능을 낸다는 것을 입증한다.