[论文解读] Accurate Fruit Localisation for Robotic Harvesting using High Resolution LiDAR-Camera Fusion

Hanwen Kang, Xing Wang+1 more|arXiv (Cornell University)|May 1, 2022

Smart Agriculture and AI被引用 4

一句话总结

本文提出一种基于高分辨率固态LiDAR与RGB相机的融合方法，用于在苹果园中实现精确的果实定位。通过应用最先进的基于目标和无目标的外部校准方法，系统将点云与图像融合，实现单阶段实例分割，水果定位的标准差低于0.3 cm，是Realsense D455在所有测试距离下的五倍精度。

ABSTRACT

Accurate depth-sensing plays a crucial role in securing a high success rate of robotic harvesting in natural orchard environments. Solid-state LiDAR (SSL), a recently introduced LiDAR technique, can perceive high-resolution geometric information of the scenes, which can be potential utilised to receive accurate depth information. Meanwhile, the fusion of the sensory information from LiDAR and camera can significantly enhance the sensing ability of the harvesting robots. This work introduces a LiDAR-camera fusion-based visual sensing and perception strategy to perform accurate fruit localisation for a harvesting robot in the apple orchards. Two SOTA extrinsic calibration methods, target-based and targetless-based, are applied and evaluated to obtain the accurate extrinsic matrix between the LiDAR and camera. With the extrinsic calibration, the point clouds and color images are fused to perform fruit localisation using a one-stage instance segmentation network. Experimental shows that LiDAR-camera achieves better quality on visual sensing in the natural environments. Meanwhile, introducing the LiDAR-camera fusion largely improves the accuracy and robustness of the fruit localisation. Specifically, the standard deviations of fruit localisation by using LiDAR-camera at 0.5 m, 1.2 m, and 1.8 m are 0.245, 0.227, and 0.275 cm respectively. These measurement error is only one one fifth of that from Realsense D455. Lastly, we have attached our visualised point cloud to demonstrate the highly accurate sensing method.

研究动机与目标

• 提升在非结构化果园环境中对果实定位的精度，以支持机器人采摘。
• 解决如Realsense D455等立体深度相机在复杂自然户外场景中的局限性。
• 利用基于目标和无目标的方法，实现LiDAR与相机传感器之间精确的外部校准。
• 将高分辨率LiDAR点云与RGB图像融合，以增强三维感知与语义理解。
• 在真实果园条件下展示优越的深度感知与定位鲁棒性。

提出的方法

• 利用固态LiDAR（SSL）捕获果园场景的高分辨率三维几何数据。
• 采用两种最先进的外部校准方法——基于目标与无目标的方法，通过特征匹配与重投影误差最小化实现。
• 将校准后的LiDAR点云与RGB图像融合，生成带有语义上下文的彩色三维点云。
• 应用单阶段实例分割网络，在融合的三维-二维空间中定位果实。
• 在0.5 m、1.2 m和1.8 m多个距离下验证校准精度与定位性能。
• 通过可视化点云展示传感系统的质量与精度。

实验结果

研究问题

• RQ1 与传统立体相机相比，高分辨率固态LiDAR是否能在自然果园环境中提升深度感知精度？
• RQ2 LiDAR-相机融合如何提升在非结构化户外环境中果实定位的精度与鲁棒性？
• RQ3 在果园应用中，基于目标与无目标的外部校准方法在LiDAR-相机系统中的性能对比如何？
• RQ4 几何与语义数据的融合在多大程度上可降低机器人采摘任务中的定位误差？
• RQ5 在使用LiDAR-相机融合与立体深度传感器时，果实定位的标准差随距离如何变化？

主要发现

• 在0.5 m、1.2 m和1.8 m的距离下，LiDAR-相机融合系统的果实定位标准差分别为0.245 cm、0.227 cm和0.275 cm。
• 这些定位误差仅为Realsense D455的约五分之一，且后者在距离增加时标准差持续上升。
• 无目标校准方法在精度上与基于目标的方法相当，但更具便利性，并在场景中实现更均匀的特征分布。
• LiDAR-相机融合生成的点云质量更高，畸变更小，尤其在捕捉枝干和果实等精细几何结构方面表现更优。
• LiDAR点云的中心区域定位精度高于边缘区域，这是由于激光束发散所致，提示多视角LiDAR融合可进一步提升性能。
• 该系统在不同光照条件与场景复杂度下，均表现出在复杂非结构化果园环境中的卓越鲁棒性与精度。