[논문 리뷰] A Deep Learning Driven Algorithmic Pipeline for Autonomous Navigation in Row-Based Crops

Simone Cerrato, Vittorio Mazzia외 5명|arXiv (Cornell University)|2021. 12. 07.

Smart Agriculture and AI인용 수 10

한 줄 요약

이 논문은 저비용의 딥러닝 기반 알고리즘 파이프라인을 제안하며, 저범위 센서만을 사용하여 밀도 높은 식생에서 GNSS 신호가 떨어지는 환경에서도 줄기 기반 작물에서의 자율 주행을 가능하게 한다. 합성 데이터와 도메인 랜덤라이제이션을 활용하여 이 문제를 해결한다. 실제 테스트에서 평균 절대 오차(MAE)가 0.76 m 이하로 떨어져 계절 변화에 걸쳐도 강건하고 일반화 가능한 주행 성능을 달성하였으며, 이는 대규모 정밀 농업 응용 분야에서의 실현 가능성을 보여준다.

ABSTRACT

Expensive sensors and inefficient algorithmic pipelines significantly affect the overall cost of autonomous machines. However, affordable robotic solutions are essential to practical usage, and their financial impact constitutes a fundamental requirement to employ service robotics in most fields of application. Among all, researchers in the precision agriculture domain strive to devise robust and cost-effective autonomous platforms in order to provide genuinely large-scale competitive solutions. In this article, we present a complete algorithmic pipeline for row-based crops autonomous navigation, specifically designed to cope with low-range sensors and seasonal variations. Firstly, we build on a robust data-driven methodology to generate a viable path for the autonomous machine, covering the full extension of the crop with only the occupancy grid map information of the field. Moreover, our solution leverages on latest advancement of deep learning optimization techniques and synthetic generation of data to provide an affordable solution that efficiently tackles the well-known Global Navigation Satellite System unreliability and degradation due to vegetation growing inside rows. Extensive experimentation and simulations against computer-generated environments and real-world crops demonstrated the robustness and intrinsic generalizability of our methodology that opens the possibility of highly affordable and fully autonomous machines.

연구 동기 및 목표

• 고비용 센서와 복잡한 알고리즘으로 인해 자율 농업 로봇의 비용이 높고 확장성이 떨어지는 문제를 해결하기 위해.
• 모든 계절 생장 단계에서 밀도 높은 식생으로 인해 GNSS 신호가 떨어지는 문제를 해결하기 위해.
• 오직 저비용, 저범위 센서만을 사용하여도 안정적으로 작동하는 완전한 자율 주행 파이프라인을 개발하기 위해.
• 합성 데이터와 도메인 랜덤라이제이션을 통해 다양한 줄기 기반 작물 환경에서의 일반화를 가능하게 하기 위해.
• 정밀 농업 응용에 적합한 정확도를 확보하면서도 정밀 위치 측정이나 고정밀 GNSS에 대한 의존도를 최소화하여 전체 영역을 커버하기 위해.

제안 방법

• 저범위 센서에서 유도된 점유도 격자 지도를 사용하여 전체 영역 커버리지를 확보하는 글로벌 경로를 구성하기 위해.
• 저비용 RGB-D 카메라를 활용하여 시각 기반 로컬 경로 계획을 구현하여 주행을 위한 의미 정보와 깊이 정보를 추출하기 위해.
• 시뮬레이션에서 실제 환경으로의 도메인 갭을 줄이기 위해 합성 데이터와 도메인 랜덤라이제이션을 사용하여 의미 분할 모델을 훈련하기 위해.
• 의미 분할 출력을 기반으로 비례 제어기를 설계하여 농작물 줄의 중심을 따라 차량을 조종하기 위해.
• GNSS가 가용할 경우 글로벌 경로 가이던스를 제공하고, GNSS가 신뢰할 수 없을 경우 시각 기반 제어로 전환하기 위해.
• 저전력 하드웨어에의 배포를 위해 최신 모델 압축 및 추론 효율성 기술을 활용하여 딥러닝 모델을 최적화하기 위해.

실험 결과

연구 질문

• RQ1 저비용, 저범위 센서만을 사용하여도 줄기 기반 작물에서 완전한 자율 주행 시스템을 구축할 수 있는가?
• RQ2 도메인 랜덤라이제이션을 적용한 합성 데이터는 다양한 실제 줄기 기반 작물 환경에서의 일반화 능력 향상에 얼마나 효과적인가?
• RQ3 밀도 높은 식생에서 GNSS 신호가 떨어지는 환경에서 시각 기반 주행은 GNSS 의존도를 얼마나 줄일 수 있는가?
• RQ4 다양한 계절 생장 단계와 다양한 줄 간격, 수관 밀도를 가진 작물 유형에서 시스템의 성능은 어떻게 나타나는가?
• RQ5 제안된 파이프라인은 정밀 농업에 실용적으로 적용하기에 충분한 정확도를 확보하면서도 계산 및 재정적 부담을 최소화할 수 있는가?

주요 결과

• 실제 테스트에서 포도원에서는 평균 절대 오차(MAE)가 0.204 m, 배 농장에서는 0.659 m였으며, 루트 평균 제곱 오차(RMSE)는 각각 0.246 m와 0.755 m였다.
• 포도원에서는 세 번의 테스트 평균 오차가 0.3 m 이하로 유지되어 좁은 간격(2.8 m)에서 높은 정밀도를 보였다.
• 배 농장(4.5 m 간격)에서는 줄 너비 증가와 시각적 단서 감소로 인해 성능이 다소 떨어졌지만, 여전히 수용 가능한 운영 한계 내에 머물렀다.
• 다양한 계절 기간 동안 일관된 성능 유지를 보여주어 식생 밀도 변화에 대한 강건성을 입증하였다.
• 모든 테스트는 동일한 하드웨어 및 소프트웨어 조건에서 수행되어 실제 환경에서 파이프라인의 신뢰성과 재현 가능성을 확인하였다.
• 테스트 평균 소요 시간은 약 25분이며 최대 속도는 0.5 m/s였으며, 이는 현장 운영에 대한 실용성과 타당성을 보여주었다.