[论文解读] Joint Intrinsic and Extrinsic LiDAR-Camera Calibration in Targetless Environments Using Plane-Constrained Bundle Adjustment

Liang Li, Haotian Li+7 more|arXiv (Cornell University)|Aug 24, 2023

Advanced Vision and Imaging被引用 5

一句话总结

本文提出了一种无需标定目标的联合内在与外在LiDAR-相机标定方法，采用平面约束的束调整（plane-constrained bundle adjustment），通过强制2D视觉特征与3D LiDAR平面之间的几何一致性，同时优化相机内参、外参及视觉点位置。该方法在KITTI数据集上实现了最先进精度，平均旋转误差降低至0.13°，平移误差降低至3.83 cm，500万像素相机的内参标定误差为6.23像素。

ABSTRACT

This paper introduces a novel targetless method for joint intrinsic and extrinsic calibration of LiDAR-camera systems using plane-constrained bundle adjustment (BA). Our method leverages LiDAR point cloud measurements from planes in the scene, alongside visual points derived from those planes. The core novelty of our method lies in the integration of visual BA with the registration between visual points and LiDAR point cloud planes, which is formulated as a unified optimization problem. This formulation achieves concurrent intrinsic and extrinsic calibration, while also imparting depth constraints to the visual points to enhance the accuracy of intrinsic calibration. Experiments are conducted on both public data sequences and self-collected dataset. The results showcase that our approach not only surpasses other state-of-the-art (SOTA) methods but also maintains remarkable calibration accuracy even within challenging environments. For the benefits of the robotics community, we have open sourced our codes.

研究动机与目标

• 解决在真实世界、无需标定目标的环境中，LiDAR与相机系统精确联合标定的挑战，其中使用标定目标不切实际。
• 克服现有无需标定目标方法的局限性，这些方法假设相机内参固定，尤其在变焦或温度变化等动态条件下表现不佳。
• 通过利用LiDAR平面提供的深度约束，提升内参标定精度，并降低对特征匹配错误的敏感性。
• 开发一种统一的优化框架，通过平面约束束调整联合估计相机内参、外参及视觉点位置。

提出的方法

• 该方法将联合标定建模为平面约束束调整问题，将视觉束调整与基于视觉特征与LiDAR估计平面之间点到面配准的新型残差项相结合。
• 利用自然场景平面为视觉点提供深度约束，减少三维重建中的歧义性，并提升内参标定的鲁棒性。
• 通过图像重投影约束与LiDAR平面约束，统一优化框架联合优化相机内参、外参及三角化后的3D视觉点位置。
• 引入视觉特征与三角化点的不确定性模型，以增强优化的稳定性和收敛性。
• 在LiDAR点云上使用基于RANSAC的平面分割算法提取平面结构，然后通过几何投影将这些平面与图像中的2D边缘匹配。
• 优化过程以近似相机位姿和内参参数初始化，随后使用高斯-牛顿求解器与鲁棒代价函数最小化残差误差。

实验结果

研究问题

• RQ1 无需标定目标的标定方法是否能在不依赖人工标定目标的情况下，实现相机内参与LiDAR-相机外参的高精度联合估计？
• RQ2 在缺乏已知深度信息的情况下，引入LiDAR平面约束在多大程度上提升了内参标定的精度与鲁棒性？
• RQ3 与传统的仅基于视觉的束调整相比，平面约束束调整在多大程度上降低了对特征匹配错误的敏感性？
• RQ4 在具有动态相机参数或复杂场景几何结构的挑战性真实环境中，该方法表现如何？

主要发现

• 在KITTI数据集上，所提方法实现了平均0.13°的旋转误差与3.83 cm的平移误差，旋转精度优于最先进联合SfM方法。
• 在自建数据集上，该方法对500万像素相机实现了平均6.23像素的内参标定误差，即使在动态条件下也表现出高精度。
• 使用标定参数进行的彩色化结果在所有场景中均显示极小的色彩错位，证实其标定质量优于最先进方法。
• 与联合SfM基线相比，该方法将旋转误差降低了约三分之二，平均误差为0.13°，而基线为0.37°。
• 在Z轴约束有限的退化场景中，该方法仍保持高精度，展现出在复杂标定场景中的鲁棒性。
• 视觉对比显示，该方法生成的彩色点云质量始终一致，而对比方法则表现出明显的色彩错位。