[논문 리뷰] Deep learning-based Crop Row Detection for Infield Navigation of Agri-Robots

Rajitha de Silva, Grzegorz Cielniak외 2명|arXiv (Cornell University)|2022. 09. 09.

Smart Agriculture and AI인용 수 8

한 줄 요약

이 논문은 도로 조건이 열악한 농지 환경에서 저비용으로 안정적인 로봇 주행을 가능하게 하기 위해 RGB 이미지를 사용하는 딥러닝 기반의 수확 행렬 탐지 시스템을 제시한다. 이 방법은 U-Net 세그멘테이션과 새로운 중심 수확 행렬 선택 알고리즘을 결합하여 평균 각도 오차 1.65°와 11.99픽셀 이격 오차를 달성하며, 기준선 대비 각각 61.5%와 76.33% 향상되었고, 탐지 성공률 100%를 유지한다.

ABSTRACT

Autonomous navigation in agricultural environments is challenged by varying field conditions that arise in arable fields. State-of-the-art solutions for autonomous navigation in such environments require expensive hardware such as RTK-GNSS. This paper presents a robust crop row detection algorithm that withstands such field variations using inexpensive cameras. Existing datasets for crop row detection does not represent all the possible field variations. A dataset of sugar beet images was created representing 11 field variations comprised of multiple grow stages, light levels, varying weed densities, curved crop rows and discontinuous crop rows. The proposed pipeline segments the crop rows using a deep learning-based method and employs the predicted segmentation mask for extraction of the central crop using a novel central crop row selection algorithm. The novel crop row detection algorithm was tested for crop row detection performance and the capability of visual servoing along a crop row. The visual servoing-based navigation was tested on a realistic simulation scenario with the real ground and plant textures. Our algorithm demonstrated robust vision-based crop row detection in challenging field conditions outperforming the baseline.

연구 동기 및 목표

• 다양한 농장 조건에서 신뢰성 있게 작동하는 저비용의 비전 기반 주행 시스템을 개발한다.
• 변동하는 조도, 잡초 밀도, 작물 생육 단계 및 행렬 끊어짐 등의 조건에서 실패하는 기존 수확 행렬 탐지 방법의 한계를 해결한다.
• 강력한 모델을 훈련하기 위해 11종의 농장 변형을 반영한 당근 이미지로 구성된 종합적인 데이터셋을 구축한다.
• 주로 따라야 할 주요 행렬을 식별함으로써 주행 정확도를 향상시키는 새로운 중심 수확 행렬 선택 알고리즘을 설계한다.
• 실제 시뮬레이션 환경에서 시각 제어를 통해 시스템을 검증한다.

제안 방법

• RGB 이미지에서 수확 행렬의 이진 세그멘테이션 마스크를 생성하기 위해 U-Net 기반 딥러닝 모델을 훈련한다.
• 정의된 관심 영역(ROI) 내에서 20% 이미지 높이 위치에서 후보 포인트를 평가하는 새로운 앵커 스캔 알고리즘을 사용해 중심 수확 행렬을 선택한다.
• 앵커 스캔 ROI 척도 계수는 0.2로 설정되며, 식 (1)의 비율에 대해 0.4의 임계값을 설정하여 저대비 또는 노이즈가 있는 영역에 대한 강건성을 확보한다.
• 알고리즘은 히스토GRAM 기반 분석을 사용해 앵커 포인트를 검증하고, 유효하지 않은 스캔은 사전 정의된 기준 포인트로 대체한다.
• 검출된 중심 수확 행렬을 기반으로 각도 오차 및 이격 오차를 바탕으로 조향 명령을 생성하기 위해 시각 제어를 구현한다.
• 실제 지면 및 식물 질감을 반영한 현실적인 시뮬레이션 환경에서 주행 성능을 평가하기 위해 시스템을 평가한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 수확 행렬 탐지 시스템은 조도 변화, 잡초 밀도, 작물 생육 단계 등 다양한 농장 조건에서도 강건한 성능을 발휘할 수 있는가?
• RQ2 이미지 노이즈 및 행렬 끊어짐이 존재하는 상황에서도 제안된 중심 수확 행렬 선택 알고리즘이 주요 행렬을 효과적으로 식별할 수 있는가?
• RQ3 각도 오차 및 이격 오차 측면에서 기준선 대비 시스템은 주행 정확도를 얼마나 향상시키는가?
• RQ4 시각 제어 컨트롤러는 현실적인 시뮬레이션 환경에서 로봇의 궤적을 안정화시킬 수 있는가?
• RQ5 특히 초기 생육 단계 및 높은 수준의 행렬 끊어짐 조건에서 시스템은 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 수확 행렬 탐지에서 평균 각도 오차 1.65°와 평균 이격 오차 11.99픽셀을 달성하여 기준선을 크게 능가했다.
• 시스템은 각도 오차를 기준선 대비 61.5% 향상시키고 이격 오차를 76.33% 향상시키며, 탐지 성공률 100%를 유지했다.
• 시뮬레이션에서 시각 제어 주행은 평균 각도 오차 2.15°와 평균 이격 오차 3.65cm를 기록했으며, 평균 23프레임 내에 안정화되었다.
• 탐지에 있어 가장 도전적인 조건은 초기 생육 단계와 높은 수준의 수확 행렬 끊어짐이었다.
• U-Net 기반 세그멘테이션 모델은 곡선형 및 파편화된 행렬을 포함한 11종의 농장 변형에 대해 강력한 일반화 능력을 보였다.
• 앵커 스캔 알고리즘은 20% 높이 ROI를 스캔하고 0.4의 임계값을 적용함으로써 저대비 상황에서도 중심 수확 행렬을 효과적으로 식별했다.