[논문 리뷰] Accurate Fruit Localisation for Robotic Harvesting using High Resolution LiDAR-Camera Fusion

Hanwen Kang, Xing Wang외 1명|arXiv (Cornell University)|2022. 05. 01.

Smart Agriculture and AI인용 수 4

한 줄 요약

이 논문은 사과 농장에서 정확한 과일 국소화를 위해 고해상도 고체상 LiDAR와 RGB 카메라를 사용한 LiDAR-카메라 융합 방법을 제안한다. 최신 기술의 목표 기반 및 목표 없는 외부 캘리브레이션을 적용하여 포인트 클라우드와 이미지를 융합함으로써 단일 단계의 인스턴스 세그멘테이션을 가능하게 하여, 모든 시험 거리에서 Realsense D455보다 다섯 배 더 정확한 0.3 cm 이내의 표준 편차를 달성한다.

ABSTRACT

Accurate depth-sensing plays a crucial role in securing a high success rate of robotic harvesting in natural orchard environments. Solid-state LiDAR (SSL), a recently introduced LiDAR technique, can perceive high-resolution geometric information of the scenes, which can be potential utilised to receive accurate depth information. Meanwhile, the fusion of the sensory information from LiDAR and camera can significantly enhance the sensing ability of the harvesting robots. This work introduces a LiDAR-camera fusion-based visual sensing and perception strategy to perform accurate fruit localisation for a harvesting robot in the apple orchards. Two SOTA extrinsic calibration methods, target-based and targetless-based, are applied and evaluated to obtain the accurate extrinsic matrix between the LiDAR and camera. With the extrinsic calibration, the point clouds and color images are fused to perform fruit localisation using a one-stage instance segmentation network. Experimental shows that LiDAR-camera achieves better quality on visual sensing in the natural environments. Meanwhile, introducing the LiDAR-camera fusion largely improves the accuracy and robustness of the fruit localisation. Specifically, the standard deviations of fruit localisation by using LiDAR-camera at 0.5 m, 1.2 m, and 1.8 m are 0.245, 0.227, and 0.275 cm respectively. These measurement error is only one one fifth of that from Realsense D455. Lastly, we have attached our visualised point cloud to demonstrate the highly accurate sensing method.

연구 동기 및 목표

• 로봇 수확을 위한 비정형 농장 환경에서 과일 국소화 정확도를 향상시키기 위해.
• 복잡한 자연 외부 환경에서 스테레오 깊이 카메라인 Realsense D455의 한계를 해결하기 위해.
• 목표 기반 및 목표 없는 방법을 모두 사용하여 LiDAR와 카메라 센서 간 정밀한 외부 캘리브레이션을 달성하기 위해.
• 고해상도 LiDAR 포인트 클라우드와 RGB 이미지를 융합하여 향상된 3차원 인식 및 의미적 이해를 가능하게 하기 위해.
• 실제 농장 조건에서 우수한 깊이 감지 및 국소화 안정성을 입증하기 위해.

제안 방법

• 농장 환경의 고해상도 3차원 기하학적 데이터를 캡처하기 위해 고체상 LiDAR(SSL)를 사용한다.
• 특징 매칭 및 재투영 오차 최소화를 활용한 최신 기술의 두 가지 외부 캘리브레이션 방법—목표 기반 및 목표 없는 방법—을 적용한다.
• 캘리브레이션된 LiDAR 포인트 클라우드와 RGB 이미지를 융합하여 의미적 맥락을 갖춘 색상화된 3차원 포인트 클라우드를 생성한다.
• 융합된 3차원-2차원 공간에서 과일을 국소화하기 위해 단일 단계의 인스턴스 세그멘테이션 네트워크를 적용한다.
• 0.5 m, 1.2 m, 및 1.8 m 거리에서 캘리브레이션 정확도와 국소화 성능을 검증한다.
• 시각화된 포인트 클라우드를 통해 감지 시스템의 품질과 정확도를 시연한다.

실험 결과

연구 질문

• RQ1 기존 스테레오 카메라와 비교해 고해상도 고체상 LiDAR는 자연적인 농장 환경에서 깊이 감지 정확도를 향상시킬 수 있는가?
• RQ2 LiDAR-카메라 융합은 비정형 외부 환경에서 과일 국소화 정확도와 안정성을 어떻게 향상시키는가?
• RQ3 농장 응용 분야에서 LiDAR-카메라 시스템의 목표 기반 대비 목표 없는 외부 캘리브레이션의 비교 성능는 어떠한가?
• RQ4 기하학적 데이터와 의미적 데이터의 융합이 로봇 수확 작업에서 국소화 오차를 얼마나 줄이는가?
• RQ5 LiDAR-카메라 융합과 스테레오 깊이 센서를 사용할 경우 거리에 따라 과일 국소화의 표준 편차는 어떻게 변하는가?

주요 결과

• 0.5 m, 1.2 m, 및 1.8 m 거리에서 과일 국소화의 표준 편차는 각각 0.245 cm, 0.227 cm, 및 0.275 cm를 기록했다.
• 이러한 국소화 오차는 Realsense D455의 오차의 약 오분의 일에 불과했으며, 거리가 증가함에 따라 표준 편차가 증가하는 경향을 보였다.
• 목표 없는 캘리브레이션 방법은 목표 기반 방법과 유사한 정확도를 제공했지만, 더 편리하고 장면 전반에 걸쳐 균일한 특징 분포를 제공했다.
• LiDAR-카메라 융합은 특히 가지와 과일과 같은 미세 기하학을 캡처할 때 Realsense D455보다 훨씬 더 고품질이고 왜곡이 적은 포인트 클라우드를 생성했다.
• LiDAR 포인트 클라우드의 중심 영역은 가장자리보다 더 높은 정확도를 보였는데, 이는 레이저 빔의 산란 때문이며, 이는 다중 시점 LiDAR 융합을 통해 성능을 추가로 향상시킬 수 있음을 시사한다.
• 다양한 조명 조건과 장면 복잡도 하에서 비정형 농장 환경에서 뛰어난 안정성과 정확도를 입증했다.