[论文解读] SOIC: Semantic Online Initialization and Calibration for LiDAR and Camera

Weimin Wang, Shohei Nobuhara+2 more|arXiv (Cornell University)|Mar 9, 2020

Advanced Vision and Imaging参考文献 30被引用 31

一句话总结

SOIC 在在线、无目标的 LiDAR 与相机外参标定中使用语义分割，利用语义质心产生初始估计并通过语义一致性代价函数对参数进行细化。

ABSTRACT

This paper presents a novel semantic-based online extrinsic calibration approach, SOIC (so, I see), for Light Detection and Ranging (LiDAR) and camera sensors. Previous online calibration methods usually need prior knowledge of rough initial values for optimization. The proposed approach removes this limitation by converting the initialization problem to a Perspective-n-Point (PnP) problem with the introduction of semantic centroids (SCs). The closed-form solution of this PnP problem has been well researched and can be found with existing PnP methods. Since the semantic centroid of the point cloud usually does not accurately match with that of the corresponding image, the accuracy of parameters are not improved even after a nonlinear refinement process. Thus, a cost function based on the constraint of the correspondence between semantic elements from both point cloud and image data is formulated. Subsequently, optimal extrinsic parameters are estimated by minimizing the cost function. We evaluate the proposed method either with GT or predicted semantics on KITTI dataset. Experimental results and comparisons with the baseline method verify the feasibility of the initialization strategy and the accuracy of the calibration approach. In addition, we release the source code at https://github.com/--/SOIC.

研究动机与目标

• 实现在线 LiDAR-相机外参标定，而不需要粗略初始猜测。
• 利用语义分割来建立用于初始化和细化的 3D-2D 对应关系。
• 开发基于 LiDAR 点云与图像像素标签的语义一致性可微分代价函数。
• 在带有 GT 与预测语义的 KITTI 数据上展示 SOIC 的可行性和准确性。
• 开源代码，以便在机器人和自动驾驶中的实际应用。

提出的方法

• 基于语义质心来形成语义化的 PnP 初始化，生成粗略位姿。
• 定义一个语义一致性代价，用于衡量 LiDAR 语义标签与投影的图像像素标签之间的一致性。
• 使用距离函数惩罚投影到图像之外或语义不匹配的点。
• 通过将代价除以有效语义点数来获得目标函数 L 的归一化。
• 对外参参数最小化 L，以获得改进的旋转和平移。
• 证明代价函数的凸性和鲁棒性，并使用 Powell 方法进行优化。

实验结果

研究问题

• RQ1 语义分割能否实现初始化-Free 的在线 LiDAR-相机标定？
• RQ2 如何利用语义质心在跨模态的设置中形成可求解的 PnP 初始位姿？
• RQ3 基于语义一致性的代价是否能相对于基线方法获得更准确的外参标定？
• RQ4 在 KITTI 上需要多少对图像-点云才能实现可靠的标定？
• RQ5 SOIC 在 GT 与预测语义标签下的表现有何差异？

主要发现

• SOIC 通过将初始化转化为基于语义质心的 PnP 问题，实现了无需先验粗略初始值的在线 LiDAR-相机标定。
• 语义一致性代价函数能够有效引导在初始基于语义质心的估计基础之上进行细化。
• 在 KITTI 上的实验表明，使用 GT 和预测语义均可实现可行的初始化和标定，并且对初始猜测质量具有鲁棒性。
• 使用 20 帧成对数据可以在语义质量不同的情况下获得大约 0.1–1 度的旋转误差和大约 0.1 m 的平移误差。
• 在预测语义下，SOIC 的精度可与 GT 语义相竞争，显示了结合真实世界语义网络的实用性。
• 该方法还支持与除 LiDAR-相机以外的多种传感器对的集成，适合在线以及潜在的室内场景。