[논문 리뷰] Joint Calibration of Panoramic Camera and Lidar Based on Supervised Learning

Mingwei Cao, Ming Quan Yang외 3명|arXiv (Cornell University)|2017. 09. 09.

Advanced Vision and Imaging참고 문헌 7인용 수 3

한 줄 요약

이 논문은 원형 校정 타겟을 사용하여 정합된 특징점을 추출하고, 신경망을 통해 회전 및 이동 행렬을 회귀시키는 지도 학습 기반 방법을 제안한다. 기존의 최적화 기반 방법에 비해 더 높은 정확도와 자동화 수준을 달성하였으며, 실제 데이터에 대한 실험 결과에서 뛰어난 성능을 보였다.

ABSTRACT

In view of contemporary panoramic camera-laser scanner system, the traditional calibration method is not suitable for panoramic cameras whose imaging model is extremely nonlinear. The method based on statistical optimization has the disadvantage that the requirement of the number of laser scanner's channels is relatively high. Calibration equipments with extreme accuracy for panoramic camera-laser scanner system are costly. Facing all these in the calibration of panoramic camera-laser scanner system, a method based on supervised learning is proposed. Firstly, corresponding feature points of panoramic images and point clouds are gained to generate the training dataset by designing a round calibration object. Furthermore, the traditional calibration problem is transformed into a multiple nonlinear regression optimization problem by designing a supervised learning network with preprocessing of the panoramic imaging model. Back propagation algorithm is utilized to regress the rotation and translation matrix with high accuracy. Experimental results show that this method can quickly regress the calibration parameters and the accuracy is better than the traditional calibration method and the method based on statistical optimization. The calibration accuracy of this method is really high, and it is more highly-automated.

연구 동기 및 목표

• 풍경 카메라의 매우 비선형적인 영상 모델로 인해 기존 校정 방법에 한계가 존재하는 문제를 해결하기 위해.
• 풍경 카메라-LiDAR 시스템에서 정밀 校정 장비의 고채널 수요와 높은 비용 문제를 극복하기 위해.
• 반복 최적화를 대체하여 지도 학습을 활용한 더 자동화되고 정확한 校정 방법을 개발하기 위해.
• 특화된 신경망 아키텍처를 통해 校정 문제를 다중 비선형 회귀 과제로 변환하기 위해.

제안 방법

• 풍경 영상와 LiDAR 포인트 클라우드 간의 대응 특징점을 생성하기 위해 원형 校정 타겟을 설계하였다.
• 풍경 영상 모델을 사전 처리하여 효과적인 특징 매칭 및 네트워크 입력 준비를 가능하게 하였다.
• 생성된 데이터셋을 사용하여 지도 학습 네트워크를 훈련시켜 카메라와 LiDAR 간의 3차원 변환(회전 및 이동)을 회귀시켰다.
• 네트워크는 이미지 및 포인트 클라우드 특징에서 校정 매개변수를 최적화하기 위해 역전파를 활용하였다.
• 이 방법은 반복 최적화나 고채널 LiDAR 시스템에 의존하지 않고, 校정 문제를 비선형 회귀 과제로 간주한다.

실험 결과

연구 질문

• RQ1 지속적인 최적화 기반 방법에 비해 지도 학습 접근법이 풍경 카메라-LiDAR 시스템의 校정 정확도를 더 높일 수 있는가?
• RQ2 통계 최적화 기법에 비해 제안된 방법이 고채널 LiDAR 센서에 대한 의존도를 줄일 수 있는가?
• RQ3 원형 校정 타겟의 사용이 특징 대응 및 校정의 견고성에 어느 정도 향상 효과를 미치는가?
• RQ4 기존의 校정 파이프라인에 비해 제안된 방법은 자동화 수준과 수렴 속도에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 기존의 전통적 校정 방법과 통계 최적화 기반 접근법보다 더 높은 校정 정확도를 달성하였다.
• 엔드 투 엔드 학습 프레임워크 덕분에 더 빠른 수렴 속도와 높은 자동화 수준을 보였다.
• 실험 결과, 지도 학습 네트워크가 높은 정밀도로 회전 및 이동 행렬을 효과적으로 회귀시킴을 확인하였다.
• 기존 방법이 다루기 어려운 풍경 카메라의 비선형 영상 모델에 대해 견고한 성능을 보였다.