[论文解读] CRLF: Automatic Calibration and Refinement based on Line Feature for LiDAR and Camera in Road Scenes

Tao Ma, Zhizheng Liu+2 more|arXiv (Cornell University)|Mar 8, 2021

Robotics and Sensor-Based Localization参考文献 21被引用 28

一句话总结

CRLF 引入了一种基于道路车道线和杆件的线特征的全自动 LiDAR-相机外参标定方法，提供基于 P3L 的粗初始化，随后通过语义线基于代价函数的细化。

ABSTRACT

For autonomous vehicles, an accurate calibration for LiDAR and camera is a prerequisite for multi-sensor perception systems. However, existing calibration techniques require either a complicated setting with various calibration targets, or an initial calibration provided beforehand, which greatly impedes their applicability in large-scale autonomous vehicle deployment. To tackle these issues, we propose a novel method to calibrate the extrinsic parameter for LiDAR and camera in road scenes. Our method introduces line features from static straight-line-shaped objects such as road lanes and poles in both image and point cloud and formulates the initial calibration of extrinsic parameters as a perspective-3-lines (P3L) problem. Subsequently, a cost function defined under the semantic constraints of the line features is designed to perform refinement on the solved coarse calibration. The whole procedure is fully automatic and user-friendly without the need to adjust environment settings or provide an initial calibration. We conduct extensive experiments on KITTI and our in-house dataset, quantitative and qualitative results demonstrate the robustness and accuracy of our method.

研究动机与目标

• 在无标定靶标或先验初始化的情况下实现 LiDAR-相机外参标定的自动化。
• 利用静态的直线道路世界特征（车道线和杆件）作为标定锚点。
• 通过透视-三线（P3L）提供鲁棒的初始标定，并使用语义线约束进行细化。
• 在 KITTI 和自有数据集的真实道路场景中展示其有效性和效率。

提出的方法

• 从图像和 LiDAR 数据中提取线特征，重点关注车道线和杆件。
• 通过使用线对求解 P3L 问题来形成粗略标定。
• 在投影后通过匹配线掩模，在语义线约束下计算代价函数以细化标定。
• 通过对粗略解周围进行随机搜索来优化代价函数，从而细化外参。
• 使用地面平行的中间步骤简化初始 P3L 求解，然后在细化阶段移除平行假设。

实验结果

研究问题

• RQ1 在没有标定靶标或先验初始化的情况下，如何在道路场景中实现 LiDAR-相机外参的自动标定？
• RQ2 来自静态道路对象（车道线和杆件）的线特征是否能提供足够的约束，以实现准确的粗略标定和鲁棒的细化？
• RQ3 基于 P3L 的初始化后跟语义线细化在真实数据集上的有效性如何？
• RQ4 在平移和旋转精度方面，CRLF 与 KITTI 和自有数据上的参考标定相比表现如何？

主要发现

• CRLF 使用道路场景中的线特征实现自动 LiDAR-相机外参标定。
• 通过求解 P3L 问题从线对应获得粗略标定，并通过一个地面平行的中间框架进行变换。
• 利用语义线基于代价函数的细化显著提高了相较粗略结果的精度。
• 在 KITTI 上，粗略标定的平移误差约为 0.121–0.182 m，旋转误差约为 0.628–1.043 度；细化将这些误差显著降低。
• 在自有数据上，粗略标定的平移误差约为 0.053–0.074 m，旋转误差约为 0.684–1.092 度；细化将其分别降低到 0.018–0.015 m 和 0.332–0.613 度。
• 端到端的 CRLF 过程约在每帧 0.3 秒内完成，展示出对大规模部署的高效性。