[论文解读] Joint Calibration of Panoramic Camera and Lidar Based on Supervised Learning

Mingwei Cao, Ming Quan Yang+3 more|arXiv (Cornell University)|Sep 9, 2017

Advanced Vision and Imaging参考文献 7被引用 3

一句话总结

本文提出一种基于监督学习的全景相机与LiDAR传感器联合标定方法，利用圆形标定靶提取对应特征点，并训练神经网络回归旋转和平移矩阵。该方法在准确性和自动化程度上优于传统基于优化的方法，实验结果表明其在真实世界数据上表现更优。

ABSTRACT

In view of contemporary panoramic camera-laser scanner system, the traditional calibration method is not suitable for panoramic cameras whose imaging model is extremely nonlinear. The method based on statistical optimization has the disadvantage that the requirement of the number of laser scanner's channels is relatively high. Calibration equipments with extreme accuracy for panoramic camera-laser scanner system are costly. Facing all these in the calibration of panoramic camera-laser scanner system, a method based on supervised learning is proposed. Firstly, corresponding feature points of panoramic images and point clouds are gained to generate the training dataset by designing a round calibration object. Furthermore, the traditional calibration problem is transformed into a multiple nonlinear regression optimization problem by designing a supervised learning network with preprocessing of the panoramic imaging model. Back propagation algorithm is utilized to regress the rotation and translation matrix with high accuracy. Experimental results show that this method can quickly regress the calibration parameters and the accuracy is better than the traditional calibration method and the method based on statistical optimization. The calibration accuracy of this method is really high, and it is more highly-automated.

研究动机与目标

• 为解决传统标定方法在全景相机上因高度非线性成像模型而存在的局限性。
• 克服全景相机-LiDAR系统中对高通道数精密标定设备的需求及高昂成本。
• 通过监督学习而非迭代优化，开发一种更自动化、更精确的标定方法。
• 通过定制化的神经网络架构，将标定问题转化为多变量非线性回归任务。

提出的方法

• 设计一种圆形标定靶，用于在全景图像与LiDAR点云之间生成对应特征点。
• 对全景成像模型进行预处理，以实现有效的特征匹配和网络输入准备。
• 使用生成的数据集训练监督学习网络，回归相机与LiDAR之间的3D变换（旋转和平移矩阵）。
• 网络采用反向传播算法，从图像和点云特征中优化标定参数的回归。
• 该方法将标定问题视为非线性回归任务，避免依赖迭代优化或高通道LiDAR系统。

实验结果

研究问题

• RQ1 监督学习方法是否能在全景相机-LiDAR系统中实现比传统基于优化的方法更高的标定精度？
• RQ2 与统计优化技术相比，所提出方法是否降低了对高通道LiDAR传感器的依赖？
• RQ3 使用圆形标定靶在多大程度上提升了特征对应关系和标定鲁棒性？
• RQ4 与传统标定流程相比，该方法在自动化程度和收敛速度方面表现如何？

主要发现

• 所提方法在标定精度上优于传统标定方法及基于统计优化的方法。
• 由于采用端到端学习框架，该方法表现出更快的收敛速度和更高的自动化程度。
• 实验结果证实，监督学习网络能以高精度有效回归旋转和平移矩阵。
• 该方法对全景相机的高度非线性成像模型具有鲁棒性，而传统方法难以处理此类问题。