[論文レビュー] Accurate Fruit Localisation for Robotic Harvesting using High Resolution LiDAR-Camera Fusion

Hanwen Kang, Xing Wang+1 more|arXiv (Cornell University)|May 1, 2022

Smart Agriculture and AI被引用数 4

ひとこと要約

本論文は、りんご畑における果実の正確な局所化を実現するため、高解像度の固体状態LiDARとRGBカメラを用いたLiDAR-カメラ統合手法を提案する。最先端のターゲットベースおよびターゲットレスな外部キャリブレーションを適用することで、点群と画像を統合し、1段階のインスタンスセグメンテーションを可能にした。果実の局所化において標準偏差が0.3 cm未塔を達成し、全テスト距離においてRealsense D455の5倍以上に精度が向上した。

ABSTRACT

Accurate depth-sensing plays a crucial role in securing a high success rate of robotic harvesting in natural orchard environments. Solid-state LiDAR (SSL), a recently introduced LiDAR technique, can perceive high-resolution geometric information of the scenes, which can be potential utilised to receive accurate depth information. Meanwhile, the fusion of the sensory information from LiDAR and camera can significantly enhance the sensing ability of the harvesting robots. This work introduces a LiDAR-camera fusion-based visual sensing and perception strategy to perform accurate fruit localisation for a harvesting robot in the apple orchards. Two SOTA extrinsic calibration methods, target-based and targetless-based, are applied and evaluated to obtain the accurate extrinsic matrix between the LiDAR and camera. With the extrinsic calibration, the point clouds and color images are fused to perform fruit localisation using a one-stage instance segmentation network. Experimental shows that LiDAR-camera achieves better quality on visual sensing in the natural environments. Meanwhile, introducing the LiDAR-camera fusion largely improves the accuracy and robustness of the fruit localisation. Specifically, the standard deviations of fruit localisation by using LiDAR-camera at 0.5 m, 1.2 m, and 1.8 m are 0.245, 0.227, and 0.275 cm respectively. These measurement error is only one one fifth of that from Realsense D455. Lastly, we have attached our visualised point cloud to demonstrate the highly accurate sensing method.

研究の動機と目的

• ロボット収穫のため、構造的でない畝間環境における果実の局所化精度を向上させること。
• 複雑で自然な屋外シーンにおいて、Realsense D455のようなステレオ深度カメラの限界を解消すること。
• ターゲットベースおよびターゲットレスの両手法を用いて、LiDARとカメラセンサー間の高精度な外部キャリブレーションを実現すること。
• 高解像度LiDAR点群とRGB画像を統合し、3次元認識と意味的理解を向上させること。
• 実際の畝間環境において、優れた深度センシングと局所化のロバスト性を実証すること。

提案手法

• 固体状態LiDAR（SSL）を用いて畝間シーンの高解像度3次元幾何データを取得する。
• 特徴マッチングと再投影誤差の最小化を用いた、最先端の2つの外部キャリブレーション手法（ターゲットベースおよびターゲットレスベース）を採用する。
• キャリブレーション済みのLiDAR点群とRGB画像を統合し、意味的文脈を付加したカラーリングされた3次元点群を生成する。
• 1段階のインスタンスセグメンテーションネットワークを適用し、統合された3次元-2次元空間で果実を局所化する。
• 0.5 m、1.2 m、1.8 mの複数の距離でキャリブレーション精度と局所化性能を検証する。
• 可視化された点群を用いて、センシングシステムの品質と正確性を示す。

実験結果

リサーチクエスチョン

• RQ1 従来のステレオカメラと比較して、高解像度の固体状態LiDARは自然な畝間環境における深度センシング精度を向上させることができるか？
• RQ2 LiDAR-カメラ統合は、構造的でない屋外環境における果実の局所化精度とロバスト性をどのように向上させるか？
• RQ3 畝間応用におけるLiDAR-カメラシステムにおいて、ターゲットベースとターゲットレスの外部キャリブレーションの相対的性能はいかほどか？
• RQ4 幾何的データと意味的データの統合は、ロボット収穫タスクにおける局所化誤差をどの程度低減するか？
• RQ5 LiDAR-カメラ統合とステレオ深度センサを用いた場合、果実の局所化の標準偏差は距離に応じてどのように変化するか？

主な発見

• 0.5 m、1.2 m、1.8 mの距離で、果実の局所化における標準偏差はそれぞれ0.245 cm、0.227 cm、0.275 cmであった。
• これらの局所化誤差は、距離が延びるにつれて増加する傾向を示したRealsense D455の誤差のおよそ1/5に過ぎず、顕著な精度向上が確認された。
• ターゲットレスベースのキャリブレーション手法は、ターゲットベース手法と同等の精度を達成したが、設置の容易さとシーン全体にわたるより均等な特徴分布を実現した。
• LiDAR-カメラ統合により、特に細かな幾何形状（枝や果実）を捉える際、Realsense D455よりも高品質で歪みの少ない点群が得られた。
• LiDAR点群の中心部は縁部よりも高い精度を示した。これはレーザー光ビームの発散によるものであり、複数視点のLiDAR統合によりさらなる性能向上が可能であると示唆された。
• 変動する照度やシーンの複雑さがある中でも、複雑で構造的でない畝間環境において、本システムは優れたロバスト性と正確性を示した。