[논문 리뷰] Vision based Crop Row Navigation under Varying Field Conditions in Arable Fields

Rajitha de Silva, Grzegorz Cielniak외 1명|arXiv (Cornell University)|2022. 09. 28.

Smart Agriculture and AI인용 수 1

한 줄 요약

이 논문은 허스키 로봇에 장착된 전면 카메라에서 촬영한 RGB 이미지를 사용하여 딥러닝 기반의 수확 행렬 탐지 알고리즘을 제안하며, 다양한 경작지 조건에서 강력한 시각 기반 자율 주행을 가능하게 한다. 이 방법은 색상 기반 기준선 대비 37.66%의 성능 향상을 달성했고, 수확 행렬의 끝부분을 성공적으로 탐지하여 로봇이 헤드랜드 쪽으로 자율적으로 진입할 수 있도록 유도하며, 시뮬레이션에서 최소한의 방향 및 위치 오프셋을 기록했다.

ABSTRACT

Accurate crop row detection is often challenged by the varying field conditions present in real-world arable fields. Traditional colour based segmentation is unable to cater for all such variations. The lack of comprehensive datasets in agricultural environments limits the researchers from developing robust segmentation models to detect crop rows. We present a dataset for crop row detection with 11 field variations from Sugar Beet and Maize crops. We also present a novel crop row detection algorithm for visual servoing in crop row fields. Our algorithm can detect crop rows against varying field conditions such as curved crop rows, weed presence, discontinuities, growth stages, tramlines, shadows and light levels. Our method only uses RGB images from a front-mounted camera on a Husky robot to predict crop rows. Our method outperformed the classic colour based crop row detection baseline. Dense weed presence within inter-row space and discontinuities in crop rows were the most challenging field conditions for our crop row detection algorithm. Our method can detect the end of the crop row and navigate the robot towards the headland area when it reaches the end of the crop row.

연구 동기 및 목표

• 실제 경작지에서 자율 주행을 위한 강력하고 저비용의 시각 기반 수확 행렬 탐지 시스템을 개발하기 위해.
• 수확 행렬 탐지 과정에서 발생하는 잡초 존재, 끊어진 연결, 그림자, 다양한 조도 수준 등의 과제를 해결하기 위해.
• RTK-GPS나 라이다와 같은 고비용 센서에 의존하지 않고 오직 RGB 카메라 입력만을 사용하여 이를 대체하기 위해.
• 로봇이 수확 행렬 내에서 정렬을 유지하고 행렬 끝점에서 안전하게 탈출할 수 있도록 시각 기반 서보 제어기를 설계하기 위해.
• 미래 연구를 위해 11개의 다양한 현장 조건(비트 및 옥수수 작물에서 유래)을 포함한 포괄적인 데이터셋(CRDLDv2.1)을 구축하고 공개하기 위해.

제안 방법

• CRDLDv2.1 데이터셋을 기반으로 U-Net 기반 딥러닝 모델을 훈련시켜 RGB 이미지에서 정밀한 수확 행렬 분할 마스크를 생성한다.
• 새로운 수확 행렬 스캐닝 알고리즘이 분할 마스크를 처리하여 픽셀 강도 기울기와 공간 분포 분석을 통해 수확 행렬의 중심선을 탐지한다.
• 실시간 영상 피드백을 사용하는 시각 기반 서보 제어기가 각도 및 위치 편차를 최소화함으로써 로봇의 정렬 유지에 기여한다.
• 행렬 끝점(EOR) 탐지기가 수확 행렬의 종료를 식별하면 탈출 동작이 트리거되며, 비례 제어 전략을 사용해 로봇이 헤드랜드 쪽으로 유도된다.
• EOR 탐지는 수확 행렬 연속성의 감소와 분할 마스크에서의 시각적 단서에 기반하여, 변형된 시야각 카메라 없이도 조기 탐지가 가능하다.
• 성능과 안정성을 검증하기 위해 제어된 조건을 가진 합성 수확 행렬을 사용한 시뮬레이션 환경에서 시스템을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 현장 조건에서 딥러닝 기반 수확 행렬 탐지 방법이 전통적인 색상 기반 분할 기법과 비교하여 어떻게 성능을 내는가?
• RQ2 수확 행렬 탐지에 있어 가장 과제가 되는 현장 조건은 무엇이며, 제안된 방법은 이러한 조건에서 어떻게 성능을 내는가?
• RQ3 시각 기반 시스템은 추가 하드웨어 없이도 수확 행렬의 끝부분을 탐지하고 로봇이 안전하게 탈출할 수 있도록 유도할 수 있는가?
• RQ4 시각 기반 서보 제어의 안정성이 주행 중 수확 행렬 탐지 정확도에 얼마나 영향을 미치는가?
• RQ5 제안된 탈출 동작은 의도한 경로에서의 최종 방향 및 이격 오프셋을 얼마나 효과적으로 최소화하는가?

주요 결과

• 제안된 방법은 수확 행렬 탐지에서 평균 ϵ 점수 90.25%를 달성했으며, 색상 기반 기준선 대비 37.66% 향상된 성능을 기록했다.
• 행간 공간의 농도 높은 잡초 존재와 수확 행렬의 끊어진 연결이 탐지 정확도에 가장 도전적인 현장 조건으로 규명되었다.
• 시각 기반 서보 제어기가 안정적인 주행을 유지했으며, 시뮬레이션에서 140 프레임 동안 평균 ϵ 점수는 69.76%에서 85.2%로 향상되었다.
• 탈출 동작은 최대 4.55°의 최종 방향 오프셋과 최대 7.56cm의 이격 오프셋을 기록하며 수확 행렬에서 로봇을 성공적으로 탈출시켰다.
• 20회의 시험에서 평균 최종 방향 오프셋은 1.89°, 평균 이격 오프셋은 2.74cm로, 탈출 실행의 높은 정밀도를 보였다.
• 시각 기반 서보 제어기가 로봇을 수확 행렬 내에 유지함으로써 탐지 정확도를 유지하는 데 강력함을 입증했으며, 방향 진동을 최소화했다.