[논문 리뷰] CalibNet: Self-Supervised Extrinsic Calibration using 3D Spatial Transformer Networks.

Ganesh Iyer, Ranjith Ram외 2명|arXiv (Cornell University)|2018. 03. 22.

Robotics and Sensor-Based Localization참고 문헌 17인용 수 16

한 줄 요약

CalibNet는 校正 대상이나 직접적인 지도 학습 없이 실시간으로 3D LiDAR와 2D 카메라 간의 6-DoF 외부 캘리브레이션을 추정하는 자기지도 학습 기반 딥러닝 방법이다. 점군과 영상 간의 기하학적·광학적 일관성 최적화를 통해 재학습 없이 다양한 잘못 校정된 상황에서도 정확한 캘리브레이션을 달성한다.

ABSTRACT

3D LiDARs and 2D cameras are increasingly being used alongside each other in sensor rigs for perception tasks. Before these sensors can be used to gather meaningful data, however, their extrinsics (and intrinsics) need to be accurately calibrated, as the performance of the sensor rig is extremely sensitive to these calibration parameters. A vast majority of existing calibration techniques require significant amounts of data and/or calibration targets and human effort, severely impacting their applicability in large-scale production systems. We address this gap with CalibNet: a self-supervised deep network capable of automatically estimating the 6-DoF rigid body transformation between a 3D LiDAR and a 2D camera in real-time. CalibNet alleviates the need for calibration targets, thereby resulting in significant savings in calibration efforts. During training, the network only takes as input a LiDAR point cloud, the corresponding monocular image, and the camera calibration matrix K. At train time, we do not impose direct supervision (i.e., we do not directly regress to the calibration parameters, for example). Instead, we train the network to predict calibration parameters that maximize the geometric and photometric consistency of the input images and point clouds. CalibNet learns to iteratively solve the underlying geometric problem and accurately predicts extrinsic calibration parameters for a wide range of mis-calibrations, without requiring retraining or domain adaptation. The project page is hosted at this https URL

연구 동기 및 목표

• LiDAR-카메라 외부 캘리브레이션에서 校정 대상과 인간이 레이블링한 진실값이 필요로 하지 않도록 하는 것.
• 3D LiDAR와 2D 카메라 간의 6-DoF 강체 변환을 실시간으로 자기지도 학습 기반으로 추정하는 것.
• 대규모 센서 라이지 배포 시 수동 캘리브레이션 절차를 제거하여 캘리브레이션 작업량을 줄이는 것.
• 재학습 또는 도메인 적응 없이 다양한 잘못된 캘리브레이션 상황에 일반화되는 방법을 개발하는 것.
• 지도 학습된 캘리브레이션 파라미터가 아닌, 원시 입력 데이터인 LiDAR 점군, 단안 영상, 카메라 내부 행렬 K만을 사용해 네트워크를 훈련하는 것.

제안 방법

• 네트워크는 3D 공간 변환기(스페이셜 트랜스포머)를 사용하여 점군을 기하학적으로 2D 영상 공간에 정렬하는 6-DoF 변환을 예측한다.
• 손실 함수는 투영된 3D 점과 영상 특징 간의 기하학적 일관성, 변환된 점군 투영과 입력 영상 간의 광학적 일관성을 최대화하도록 설계된다.
• 지상 진실값 캘리브레이션 레이블 없이 입력 LiDAR 점군, 해당 영상, 카메라 내부 행렬 K만을 사용해 엔드 투 엔드로 훈련된다.
• 손실 함수 기반의 반복 최적화를 통해 역전파를 통해 예측된 변환을 개선한다.
• 스페이셜 트랜스포머를 통해 3D 점군의 공간적 변환이 미분 가능하게 이루어져 기울기 기반 학습이 가능하다.
• 손실 함수는 기하학적 재투영 오차와 광학적 재구성 오차를 결합하여 네트워크가 정확한 캘리브레이션을 향해 유도한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 지상 진실값 레이블이나 校정 대상 없이도 LiDAR-카메라 외부 캘리브레이션을 추정할 수 있는가?
• RQ2 재학습 또는 도메인 적응 없이도 다양한 초기 잘못된 캘리브레이션 상태에 일반화 가능한가?
• RQ3 기하학적·광학적 일관성 기반 자기지도 학습이 정확하고 강건한 캘리브레이션 결과를 도출하는가?
• RQ4 대규모 센서 시스템에 배포 가능한 실시간 추론을 달성할 수 있는가?
• RQ5 정확도와 효율성 측면에서 자기지도 학습 기반 접근법이 지도 학습 또는 대상 기반 캘리브레이션 방법보다 어떻게 비교되는가?

주요 결과

• CalibNet는 어떤 校정 대상이나 인간이 레이블링한 진실값 데이터 없이도 정확한 6-DoF 외부 캘리브레이션을 달성한다.
• 재학습 또는 도메인 적응 없이 다양한 초기 잘못된 캘리브레이션 상태에 일반화된다.
• 네트워크는 LiDAR 점군과 카메라 영상 간의 기하학적·광학적 일관성을 최대화하는 캘리브레이션 파라미터를 학습하여 예측한다.
• CalibNet는 실시간 추론을 지원하여 대규모 생산용 센서 시스템에 적합하다.
• 기존의 대상 기반 또는 지도 학습 방법 대비 캘리브레이션 작업량을 크게 줄이는 자기지도 학습 파라다임을 구현한다.
• 초기 캘리브레이션 오차에 대해 강건하며, 일관성 기반 최적화를 통해 정확한 해에 수렴함을 입증한다.