[论文解读] A Joint Optimization Approach of LiDAR-Camera Fusion for Accurate Dense 3D Reconstructions

Weikun Zhen, Yaoyu Hu+2 more|arXiv (Cornell University)|Jul 1, 2019

Robotics and Sensor-Based Localization参考文献 28被引用 6

一句话总结

本文提出了一种联合优化框架，通过在离线、概率一致的方式下融合双目图像与LiDAR点云，同时估计相机位姿和LiDAR-相机外部参数标定。该方法实现了2.7 mm的平均重建精度和70 points/cm²的点云密度，显著优于现有最先进方法，其优势在于消除了对不可靠特征匹配的依赖，并通过统一的束调整与点云配准优化实现了自标定。

ABSTRACT

Fusing data from LiDAR and camera is conceptually attractive because of their complementary properties. For instance, camera images are higher resolution and have colors, while LiDAR data provide more accurate range measurements and have a wider Field Of View (FOV). However, the sensor fusion problem remains challenging since it is difficult to find reliable correlations between data of very different characteristics (geometry vs. texture, sparse vs. dense). This paper proposes an offline LiDAR-camera fusion method to build dense, accurate 3D models. Specifically, our method jointly solves a bundle adjustment (BA) problem and a cloud registration problem to compute camera poses and the sensor extrinsic calibration. In experiments, we show that our method can achieve an averaged accuracy of 2.7mm and resolution of 70 points per square cm by comparing to the ground truth data from a survey scanner. Furthermore, the extrinsic calibration result is discussed and shown to outperform the state-of-the-art method.

研究动机与目标

• 解决将稀疏几何LiDAR数据与密集纹理相机数据融合以实现高精度3D重建的挑战。
• 克服现有融合方法依赖于点云与图像之间不可靠特征对应关系的局限性。
• 在统一的概率框架中联合优化相机位姿与外部标定，提升鲁棒性与精度。
• 实现在无需预标定外部参数或专用标定目标的LiDAR-相机系统自标定。
• 生成接近测绘级扫描仪精度的密集纹理3D模型。

提出的方法

• 该方法在一个统一的概率优化框架内，联合求解相机位姿的束调整（BA）问题与外部标定的点云配准问题。
• 其成本函数结合了来自双目图像与LiDAR点云的几何约束，并通过概率模型显式处理传感器不确定性。
• 优化过程在离线模式下进行，利用多个静止的传感器站，每个站点同步捕获双目图像与LiDAR扫描数据。
• 该方法通过仅依赖传感器数据之间的几何一致性，避免了启发式特征匹配，从而降低了对纹理或边缘质量的依赖。
• 相机位姿与外部变换的联合参数化被同时优化，通过相互约束实现自标定。
• 系统使用基于ICP的配准方法进行真值对比，使用CloudCompare对重建精度进行定量评估。

实验结果

研究问题

• RQ1 联合优化框架是否能通过同时估计相机位姿与LiDAR-相机外部标定，提升3D重建精度？
• RQ2 消除对LiDAR边缘与图像边缘之间特征匹配的依赖，是否能带来更鲁棒的标定与重建？
• RQ3 与仅使用双目图像或预标定融合相比，融合LiDAR与双目数据在多大程度上降低了重建误差？
• RQ4 在不同传感器配置下，外部标定的约束程度如何？其可观测或欠约束的自由度是什么？
• RQ5 所提方法是否能达到与FARO FOCUS3D等测绘级扫描仪相当的重建精度？

主要发现

• 与FARO FOCUS3D扫描仪的真值数据相比，所提方法实现了2.7 mm的平均重建精度，该扫描仪的测距精度为±3 mm。
• 该方法生成了点密度达70 points/cm²的密集3D模型，显著高于真值数据的10–15 points/cm²。
• 融合LiDAR数据使重建误差从仅使用双目的6 mm降低至2.7 mm，证明了LiDAR几何约束的优势。
• 联合优化外部标定优于现有最先进方法，其优势在于消除了对启发式特征匹配的依赖，并提升了标定的鲁棒性。
• 当存在多个非共线视角时，外部标定得到良好约束；但当传感器位姿接近共线或仅发生平移扰动时，标定变得欠约束。
• 该方法实现了自标定，消除了对预标定外部参数或专用标定目标的需求。