[论文解读] CalibNet: Self-Supervised Extrinsic Calibration using 3D Spatial Transformer Networks.

Ganesh Iyer, Ranjith Ram+2 more|arXiv (Cornell University)|Mar 22, 2018

Robotics and Sensor-Based Localization参考文献 17被引用 16

一句话总结

CalibNet 是一种自监督深度学习方法，可在无需校准目标或直接监督的情况下，实时估计 3D 激光雷达与 2D 相机之间的 6-DoF 外参校准。它通过优化点云与图像之间的几何一致性和光度一致性来学习，无需微调即可在各种校准偏差场景下实现高精度校准。

ABSTRACT

3D LiDARs and 2D cameras are increasingly being used alongside each other in sensor rigs for perception tasks. Before these sensors can be used to gather meaningful data, however, their extrinsics (and intrinsics) need to be accurately calibrated, as the performance of the sensor rig is extremely sensitive to these calibration parameters. A vast majority of existing calibration techniques require significant amounts of data and/or calibration targets and human effort, severely impacting their applicability in large-scale production systems. We address this gap with CalibNet: a self-supervised deep network capable of automatically estimating the 6-DoF rigid body transformation between a 3D LiDAR and a 2D camera in real-time. CalibNet alleviates the need for calibration targets, thereby resulting in significant savings in calibration efforts. During training, the network only takes as input a LiDAR point cloud, the corresponding monocular image, and the camera calibration matrix K. At train time, we do not impose direct supervision (i.e., we do not directly regress to the calibration parameters, for example). Instead, we train the network to predict calibration parameters that maximize the geometric and photometric consistency of the input images and point clouds. CalibNet learns to iteratively solve the underlying geometric problem and accurately predicts extrinsic calibration parameters for a wide range of mis-calibrations, without requiring retraining or domain adaptation. The project page is hosted at this https URL

研究动机与目标

• 消除激光雷达-相机外参校准中对校准目标和人工标注真值的需求。
• 实现实时、自监督的 6-DoF 刚体变换估计，用于 3D 激光雷达与 2D 相机之间的外参校准。
• 通过消除手动校准流程，降低大规模传感器阵列部署中的校准工作量。
• 开发一种无需微调或领域自适应即可在多种校准偏差场景下泛化的校准方法。
• 仅使用原始输入数据（激光雷达点云、单目图像和相机内参矩阵 K）进行网络训练，无需对校准参数进行直接监督。

提出的方法

• 网络使用 3D 空间变换器来预测一个 6-DoF 变换，以可微分的方式将激光雷达点云与相机图像对齐。
• 通过损失函数进行训练，该损失函数最大化投影后的 3D 点与图像特征之间的几何一致性，以及变换后点云投影与输入图像之间的光度一致性。
• 网络通过端到端训练，仅使用输入的激光雷达点云、对应图像和相机内参矩阵 K，无需真实校准标签。
• 该方法通过反向传播进行迭代优化，基于一致性损失来细化预测的变换。
• 空间变换器实现了对 3D 点云的可微分空间变换，以与 2D 图像空间对齐，从而支持基于梯度的学习。
• 损失函数结合了几何重投影误差与光度重建误差，以引导网络实现高精度校准。

实验结果

研究问题

• RQ1 深度学习模型是否可以在无需任何真值标签或校准目标的情况下估计激光雷达-相机外参校准？
• RQ2 该模型是否能在不重新训练或领域自适应的情况下泛化到广泛的初始校准偏差状态？
• RQ3 基于几何与光度一致性的自监督训练是否能产生准确且鲁棒的校准结果？
• RQ4 该方法是否能实现实时推理，适用于大规模传感器系统的部署？
• RQ5 与基于目标或监督的校准方法相比，该自监督方法在精度和效率方面表现如何？

主要发现

• CalibNet 在无需任何校准目标或人工标注真值数据的情况下，实现了准确的 6-DoF 外参校准。
• 该方法在无需微调或领域自适应的情况下，可泛化至多种初始校准偏差状态。
• 网络学习到的校准参数能够最大化激光雷达点云与相机图像之间的几何与光度一致性。
• CalibNet 支持实时推理，适用于大规模生产级传感器系统的部署。
• 自监督训练范式显著降低了与传统基于目标或监督方法相比的校准工作量。
• 该方法对初始校准误差具有鲁棒性，可通过基于一致性的优化收敛至高精度解。