[论文解读] Targetless Extrinsic Calibration of Multiple Small FoV LiDARs and Cameras using Adaptive Voxelization

Xiyuan Liu, Chongjian Yuan+1 more|arXiv (Cornell University)|Sep 14, 2021

Robotics and Sensor-Based Localization参考文献 26被引用 6

一句话总结

本文提出了一种针对多个小型视场角（FoV）LiDAR与相机的无标定物外部校准方法，采用自适应体素化技术加速特征提取与匹配，在显著降低计算时间的同时保持高精度。该方法将LiDAR校准建模为带有二阶优化的捆绑调整（Bundle Adjustment）问题，使LiDAR-LiDAR校准速度提升15倍，LiDAR-相机校准速度提升1.5倍，且精度达到亚厘米级。

ABSTRACT

Determining the extrinsic parameter between multiple LiDARs and cameras is essential for autonomous robots, especially for solid-state LiDARs, where each LiDAR unit has a very small Field-of-View (FoV), and multiple units are often used collectively. The majority of extrinsic calibration methods are proposed for 360$^\circ$ mechanical spinning LiDARs where the FoV overlap with other LiDAR or camera sensors is assumed. Few research works have been focused on the calibration of small FoV LiDARs and cameras nor on the improvement of the calibration speed. In this work, we consider the problem of extrinsic calibration among small FoV LiDARs and cameras, with the aim to shorten the total calibration time and further improve the calibration precision. We first implement an adaptive voxelization technique in the extraction and matching of LiDAR feature points. Such a process could avoid the redundant creation of $k$-d trees in LiDAR extrinsic calibration and extract LiDAR feature points in a more reliable and fast manner than existing methods. We then formulate the multiple LiDAR extrinsic calibration into a LiDAR Bundle Adjustment (BA) problem. By deriving the cost function up to second-order, the solving time and precision of the non-linear least square problem are further boosted. Our proposed method has been verified on data collected in four targetless scenes and under two types of solid-state LiDARs with a completely different scanning pattern, density, and FoV. The robustness of our work has also been validated under eight initial setups, with each setup containing 100 independent trials. Compared with the state-of-the-art methods, our work has increased the calibration speed 15 times for LiDAR-LiDAR extrinsic calibration and 1.5 times for LiDAR-Camera extrinsic calibration (averaged result from 50 independent trials) while remaining accurate.

研究动机与目标

• 解决多个小型视场角LiDAR与相机之间在最小或无视场重叠情况下的外部校准挑战。
• 降低LiDAR特征匹配与外部校准的计算时间，尤其在传感器数量增加时。
• 在传感器视场重叠有限或不存在的情况下，提升校准精度。
• 开发一种鲁棒的无标定物校准流程，适用于具有不同扫描模式、点云密度与视场角的多种固态LiDAR。
• 将实现代码开源，以促进机器人与自动驾驶系统领域的发展。

提出的方法

• 采用自适应体素化技术，动态将LiDAR点云分割为体素，确保每个体素内仅保留一个平面特征，从而减少冗余特征匹配。
• 将捆绑调整（Bundle Adjustment）方法应用于LiDAR外部校准，通过推导至二阶的代价函数，提升收敛速度与精度。
• 利用自适应体素图提取并匹配LiDAR特征点，避免对整个点云进行完整的k-d树构建。
• 利用运动驱动的共视性：通过移动传感器平台，使各传感器在不同时间扫描相同特征，从而在视场重叠极少或不存在的情况下，实现跨传感器的特征对应。
• 在LiDAR-相机校准中，利用相同的自适应体素图匹配图像与重建LiDAR点云之间的共视特征，实现高效边缘特征提取。
• 采用李代数的$oxplus$运算进行误差参数化，实现优化过程中位姿与外部参数的精确扰动建模。

实验结果

研究问题

• RQ1 自适应体素化是否能显著降低多传感器外部校准中LiDAR特征匹配的计算成本？
• RQ2 与一阶方法相比，所提出的采用二阶导数的捆绑调整公式在提升校准速度与精度方面表现如何？
• RQ3 当小型视场角LiDAR与相机之间视场重叠极小或完全不存在时，该方法在高精度校准方面的实现程度如何？
• RQ4 该方法在具有不同扫描模式、点云密度与视场角的多种固态LiDAR上表现如何？
• RQ5 与当前最先进的无标定物校准方法相比，该方法在速度与精度方面可实现多大程度的提升？

主要发现

• 在100次独立实验中，该方法在LiDAR-LiDAR外部校准中平均实现15倍的速度提升。
• 在50次独立实验中，该方法在LiDAR-相机校准中平均实现1.5倍的速度提升，同时保持高精度。
• 该方法在LiDAR-相机校准中实现平均平移误差6mm、旋转误差0.09度；在LiDAR-LiDAR校准中实现平均平移误差8mm、旋转误差0.2度。
• 该方法在八种不同初始设置下均表现稳定，在每种设置下100次独立实验中性能一致，展现出高度可靠性。
• 自适应体素化技术消除了对完整k-d树构建的需求，降低了特征匹配的开销，显著提升了计算效率。
• 在GitHub上开源的实现代码，使机器人与自动驾驶系统社区能够广泛采用并进一步推动相关发展。