[论文解读] Deep learning-based Crop Row Detection for Infield Navigation of Agri-Robots

Rajitha de Silva, Grzegorz Cielniak+2 more|arXiv (Cornell University)|Sep 9, 2022

Smart Agriculture and AI被引用 8

一句话总结

本文提出了一种基于深度学习的作物行检测系统，利用RGB图像实现复杂农田环境下农业机器人的鲁棒、低成本导航。该方法结合U-Net分割与一种新型中心作物行选择算法，在保持100%检测成功率的同时，实现了1.65°的平均角度误差和11.99像素的位移误差，分别优于基线方法61.5%和76.33%。

ABSTRACT

Autonomous navigation in agricultural environments is challenged by varying field conditions that arise in arable fields. State-of-the-art solutions for autonomous navigation in such environments require expensive hardware such as RTK-GNSS. This paper presents a robust crop row detection algorithm that withstands such field variations using inexpensive cameras. Existing datasets for crop row detection does not represent all the possible field variations. A dataset of sugar beet images was created representing 11 field variations comprised of multiple grow stages, light levels, varying weed densities, curved crop rows and discontinuous crop rows. The proposed pipeline segments the crop rows using a deep learning-based method and employs the predicted segmentation mask for extraction of the central crop using a novel central crop row selection algorithm. The novel crop row detection algorithm was tested for crop row detection performance and the capability of visual servoing along a crop row. The visual servoing-based navigation was tested on a realistic simulation scenario with the real ground and plant textures. Our algorithm demonstrated robust vision-based crop row detection in challenging field conditions outperforming the baseline.

研究动机与目标

• 开发一种低成本、基于视觉的农业机器人导航系统，可在多种田间条件下稳定运行。
• 解决现有作物行检测方法在光照变化、杂草密度、作物生长阶段及行中断情况下的失效问题。
• 构建一个涵盖11种田间变化的甜菜图像综合数据集，用于训练鲁棒模型。
• 设计一种新型中心作物行选择算法，通过识别主行以提升导航精度。
• 通过在真实感仿真环境中进行视觉伺服控制，验证系统性能。

提出的方法

• 使用基于U-Net的深度学习模型，从RGB图像生成作物行的二值分割掩码。
• 通过一种新型的锚点扫描算法从图像中选定中心作物行，该算法在图像高度20%处的感兴趣区域（ROI）内评估候选点。
• 锚点扫描ROI比例因子设为0.2，且方程（1）中比率的阈值设为0.4，以确保在低对比度或噪声区域的鲁棒性。
• 算法采用基于直方图的分析方法验证锚点，并在检测到无效扫描时用预设参考点替代。
• 基于检测到的中心作物行，通过视觉伺服控制生成转向指令，控制依据为角度误差和位移误差。
• 在包含真实地面与植物纹理的逼真仿真环境中评估系统导航性能。

实验结果

研究问题

• RQ1 基于深度学习的作物行检测系统是否能在光照变化、杂草密度和作物生长阶段多变的田间条件下实现鲁棒性能？
• RQ2 所提出的中心作物行选择算法在图像噪声和行中断情况下，识别主行的有效性如何？
• RQ3 与基线方法相比，该系统在角度误差和位移误差方面对导航精度的提升程度如何？
• RQ4 视觉伺服控制器是否能在逼真仿真环境中稳定机器人轨迹？
• RQ5 在最具挑战性的条件下（如早期生长阶段和高行中断程度）系统表现如何？

主要发现

• 所提方法在作物行检测中实现了1.65°的平均角度误差和11.99像素的平均位移误差，显著优于基线方法。
• 与基线相比，系统将角度误差降低了61.5%，位移误差降低了76.33%，同时保持了100%的检测成功率。
• 视觉伺服导航在仿真中实现了2.15°的平均角度误差和3.65厘米的平均位移误差，平均在23帧内实现稳定。
• 检测最具挑战性的条件是作物早期生长阶段和高程度的作物行中断。
• 基于U-Net的分割模型在11种田间变化（包括弯曲和断裂的行）中表现出强大的泛化能力。
• 锚点扫描算法通过在20%图像高度的ROI内扫描，并设置0.4的阈值，有效识别中心作物行，确保在低对比度场景下的鲁棒性。