[논문 리뷰] Towards agricultural autonomy: crop row detection under varying field conditions using deep learning

Rajitha de Silva, Grzegorz Cielniak외 1명|arXiv (Cornell University)|2021. 09. 16.

Smart Agriculture and AI참고 문헌 19인용 수 11

한 줄 요약

이 논문은 농장에서의 내비게이션을 강력하게 보장하기 위해 RGB 입력을 사용하는 U-Net 아키텍처 기반의 딥러닝 기반 수확 줄 감지 시스템을 제안한다. 다양한 농장 조건—그림자, 잡초 밀도, 단절, 직사광선—에서 정확도를 평가하기 위해 새로운 각도 오차 지표를 도입하였으며, 평균 각도 오차 0.0310도를 기록하고 성장 단계와 그림자에 대해 높은 강건성을 보였지만, 직사광선과 높은 잡초 밀도 조건에서는 성능 저하가 발생한다.

ABSTRACT

This paper presents a novel metric to evaluate the robustness of deep learning based semantic segmentation approaches for crop row detection under different field conditions encountered by a field robot. A dataset with ten main categories encountered under various field conditions was used for testing. The effect on these conditions on the angular accuracy of crop row detection was compared. A deep convolutional encoder decoder network is implemented to predict crop row masks using RGB input images. The predicted mask is then sent to a post processing algorithm to extract the crop rows. The deep learning model was found to be robust against shadows and growth stages of the crop while the performance was reduced under direct sunlight, increasing weed density, tramlines and discontinuities in crop rows when evaluated with the novel metric.

연구 동기 및 목표

• 실제 농장 환경의 변동성에 강건한 일반화된 딥러닝 기반 수확 줄 감지 시스템을 개발하는 것.
• 그림자, 잡초 밀도, 단절, 직사광선 등 다양한 농장 조건에서 모델의 강건성을 평가하는 것.
• 기존 IoU나 정확도 지표보다 실질적 내비게이션 정확도를 더 잘 반영하는 새로운 각도 오차 지표를 제안하고 검증하는 것.
• 미래 연구의 기준이 될 수 있도록 10개의 농장 조건 카테고리로 구성된 공개 가능한 데이터셋을 제공하는 것.
• 환경 조건에 따라 후처리 적응 전략을 안내하여 실세계 적용 시 성능을 향상시키는 것.

제안 방법

• 수확 줄의 의미적 세그멘테이션 마스크를 예측하기 위해 RGB 이미지를 입력으로 사용하는 U-Net 기반의 인코더-디코더 컨볼루션 신경망을 훈련한다.
• 예측된 수확 줄 선과 진짜 수확 줄 선 간의 편차를 정량화하는 새로운 각도 오차 지표를 사용하여 모델을 평가한다.
• 후처리 단계에서 형태학적 연산과 선 추출을 적용하여 세그멘테이션 마스크를 연속적인 수확 줄 선으로 변환한다.
• 경계 정밀도를 비교하기 위해 이진 교차 엔트로피(BCE)와 포칼 손실을 모두 사용하여 훈련한다.
• 250개의 기본 이미지로 구성된 테스트 데이터셋을 1000개로 증강하였으며, 다양한 잡초 밀도, 생장 단계, 조명 조건을 포함한 10개의 농장 조건 카테고리가 포함되어 있다.
• 이미지 입력은 전역 추론을 위해 512×512로 리사이징되며, 전체 시야와 컷 프레임 접근 방식 간의 예측을 비교한다.

실험 결과

연구 질문

• RQ1 일반화된 딥러닝 모델은 다양한 실제 농장 조건에서 수확 줄 감지에 얼마나 잘 성능을 내는가?
• RQ2 그림자, 잡초 밀도, 단절, 직사광선 등의 요소가 의미적 세그멘테이션을 통한 수확 줄 감지 정확도에 어느 정도 영향을 미치는가?
• RQ3 제안된 각도 오차 지표는 기존의 IoU나 정확도 지표보다 실질적 내비게이션 성능을 더 잘 반영하는가?
• RQ4 BCE와 포칼 손실 간의 다른 손실 함수가 각도 정밀도와 마스크 노이즈 측면에서 모델 성능에 어떤 영향을 미치는가?
• RQ5 이미지 전처리(예: 리사이징 대비 컷팅)는 전역 수확 줄 예측에서 구조적 통합성을 유지하는 데 어떤 역할을 하는가?

주요 결과

• U-Net 모델은 모든 테스트 조건에서 평균 각도 오차 0.0310도를 기록하여 수확 줄 예측의 높은 정밀도를 보였다.
• 모델은 그림자와 다양한 생장 단계에 대해 강건성을 보였으며, 성능 저하가 최소한이었다.
• 직사광선과 높은 잡초 밀도 조건에서는 성능이 크게 떨어졌으며, 이 조건에서 정확한 선을 탐지하는 데 어려움을 겪었다.
• 리사이징된 전역 이미지에서 정확도 84.43%와 IoU 0.1896을 기록했으며, 모든 카테고리 평균 대비 정확도는 4.93% 감소하고 IoU는 0.0429 감소했다.
• 포칼 손실은 각도 오차를 15.81% 향상시켜 0.0181°로 개선했지만, IoU는 44.73% 감소하고 노이즈는 증가시켜 BCE 손실이 좁고 깔끔한 예측에 더 적합하다.
• 컷 프레임 추론이 전체 이미지 리사이징보다 성능이 뛰어났으며, 왜곡이 감소했기 때문에 여러 예측을 스티칭하는 것이 전역 정확도 향상에 기여한다.