[论文解读] Lidar and Camera Self-Calibration using CostVolume Network.

Xudong Lv, Boya Wang+2 more|arXiv (Cornell University)|Dec 27, 2020

Robotics and Sensor-Based Localization被引用 5

一句话总结

本文提出了一种新颖的在线自标定方法，用于激光雷达与相机传感器，利用CostVolume网络提升特征匹配性能，通过预测初始标定的偏差来减少标定误差。在KITTI数据集上，其平移误差均值为0.297 cm，旋转误差均值为0.017°，在存在较大标定偏差（最高达1.5 m和20°）的情况下，优于以往基于CNN的方法。

ABSTRACT

In this paper, we propose a novel online self-calibration approach for Light Detection and Ranging (LiDAR) and camera sensors. Compared to the previous CNN-based methods that concatenate the feature maps of the RGB image and decalibrated depth image, we exploit the cost volume inspired by the PWC-Net for feature matching. Besides the smooth L1-Loss of the predicted extrinsic calibration parameters, an additional point cloud loss is applied. Instead of regress the extrinsic parameters between LiDAR and camera directly, we predict the decalibrated deviation from initial calibration to the ground truth. During inference, the calibration error decreases further with the usage of iterative refinement and the temporal filtering approach. The evaluation results on the KITTI dataset illustrate that our approach outperforms CNN-based state-of-the-art methods in terms of a mean absolute calibration error of 0.297cm in translation and 0.017° in rotation with miscalibration magnitudes of up to 1.5m and 20°.

研究动机与目标

• 解决自动驾驶系统中激光雷达-相机外参标定不准确的挑战。
• 克服以往基于CNN的方法依赖特征拼接和直接回归标定参数的局限性。
• 通过一种新颖的特征匹配与优化策略，提升在大范围标定偏差（最高达1.5 m平移和20°旋转）下的鲁棒性。
• 通过时间滤波与优化实现在线、迭代式自标定，进一步降低推理过程中的标定误差。

提出的方法

• 受PWC-Net启发，采用CostVolume网络以增强RGB图像与去标定深度图像之间的特征匹配，替代以往基于CNN的方法所使用的特征拼接方式。
• 预测相对于初始标定的偏差而非直接回归绝对外参，从而提升训练稳定性与准确性。
• 对预测的标定参数应用平滑L1损失，并引入额外的点云损失以监督几何一致性。
• 在推理过程中采用迭代优化与时间滤波，逐步降低初始预测后的标定误差。
• 通过几何与光度监督的组合进行网络训练，使激光雷达点云通过预测的变换与图像特征对齐。

实验结果

研究问题

• RQ1 与传统的基于CNN的拼接方法相比，基于CostVolume的特征匹配方法是否能提升激光雷达-相机自标定的准确性？
• RQ2 预测相对于初始估计的标定偏差是否能带来比直接回归外参更好的收敛性与更低的误差？
• RQ3 在实时推理中，迭代优化与时间滤波能在多大程度上进一步降低标定误差？
• RQ4 该方法在大范围初始标定偏差（如1.5 m平移和20°旋转）下具有多强的鲁棒性？

主要发现

• 所提方法在KITTI数据集上实现了0.297 cm的平移误差均值与0.017°的旋转误差均值，优于当前最先进的基于CNN的方法。
• 该方法在大范围标定偏差下表现出强鲁棒性，成功处理高达1.5 m平移与20°旋转的误差。
• 推理过程中集成的迭代优化与时间滤波进一步降低了初始网络预测后的标定误差。
• 与以往方法中使用的特征拼接相比，采用CostVolume网络进行特征匹配能实现更精确的对应关系学习。
• 额外的点云损失提升了几何一致性，从而增强了整体标定性能。
• 该方法实现了可靠的在线自标定，且在推理过程中无需依赖真实标定数据。