[论文解读] LiDAR-Camera Calibration using 3D-3D Point correspondences

Ankit Dhall, Kunal Chelani+2 more|arXiv (Cornell University)|May 27, 2017

Robotics and Sensor-Based Localization参考文献 1被引用 148

一句话总结

本文提出一种基于 3D-3D 点对应关系的 LiDAR–相机闭式外参标定方法，使用 ArUco/cardboard 标记进行验证，及 ICP/Kabsch 比较与多相机融合。

ABSTRACT

With the advent of autonomous vehicles, LiDAR and cameras have become an indispensable combination of sensors. They both provide rich and complementary data which can be used by various algorithms and machine learning to sense and make vital inferences about the surroundings. We propose a novel pipeline and experimental setup to find accurate rigid-body transformation for extrinsically calibrating a LiDAR and a camera. The pipeling uses 3D-3D point correspondences in LiDAR and camera frame and gives a closed form solution. We further show the accuracy of the estimate by fusing point clouds from two stereo cameras which align perfectly with the rotation and translation estimated by our method, confirming the accuracy of our method's estimates both mathematically and visually. Taking our idea of extrinsic LiDAR-camera calibration forward, we demonstrate how two cameras with no overlapping field-of-view can also be calibrated extrinsically using 3D point correspondences. The code has been made available as open-source software in the form of a ROS package, more information about which can be sought here: https://github.com/ankitdhall/lidar_camera_calibration .

研究动机与目标

• 使用 3D-3D 对应关系，在相机与 LiDAR 之间提供可重复、准确的外参标定。
• 评估在低密度 LiDAR 设置中，2D-3D 标定方法的局限性。
• 证明一种闭式的 3D-3D 解决方案（Kabsch/SVD）在 [R|t] 估计中的有效性。
• 展示该方法在将来自多相机的点云融合方面的实用性，包括非重叠视野。

提出的方法

• 提取相机和 LiDAR 坐标系中的已知 3D 对应，通过平面标记（纸板）和 ArUco 标记。
• 使用已知对应，通过闭式解（Kabsch/SVD）估计传感器坐标系之间的刚性变换 [R|t]。
• 与 2D-3D PnP 方法（PnP, EPnP, RaNSaC-PnP）和 ICP 进行比较，突出 3D-3D 在某些情况下优于 2D-3D 方法。
• 合并多次扫描以平均旋转和平移以降低噪声（旋转通过四元数平均，平移通过均值）。
• 通过在 LiDAR 坐标系到相机坐标系链式变换，示范来自多相机的点云融合，从而在非重叠视野之间实现外参标定。

实验结果

研究问题

• RQ1 3D-3D 点对应关系是否能在闭式解中给出准确的 LiDAR-相机外参？
• RQ2 在低密度 LiDAR 中，3D-3D 方法在精度和鲁棒性上是否优于 2D-3D PnP 方法？
• RQ3 该方法是否能以一个共同的 LiDAR 作为参考，标定具有非重叠视场的多相机？
• RQ4 对多次扫描的平均是否提高了估计的 [R|t] 的稳定性和准确性？

主要发现

• 闭式 3D-3D 方法（Kabsch/SVD）给出接近尺子测量的旋转-平移估计，在各数据集上的 RMSE 约为 ~0.024–0.026 m。
• 2D-3D 方法（PnP/EPnP 与 RaNSaC）可以产生更低的反投影误差，但可能与手动尺子测量偏离，表明单纯最小化投影误差并不足以获得真正的外参。
• 通过四元数对旋转、多次运行的平移进行平均可降低噪声，提升 [R|t] 估计的鲁棒性。
• 该方法通过通过 LiDAR 参考点云融合，支持非重叠 FOV 的相机外参标定，实现多相机 3D 融合。
• 作者提供了一个开源的 ROS 包实现 lidar_camera_calibration，方便实际使用。