[论文解读] A Deep Learning Driven Algorithmic Pipeline for Autonomous Navigation in Row-Based Crops

Simone Cerrato, Vittorio Mazzia+5 more|arXiv (Cornell University)|Dec 7, 2021

Smart Agriculture and AI被引用 10

一句话总结

本文提出了一种低成本、基于深度学习的算法流程，仅使用低范围传感器在行栽作物中实现自主导航，利用合成数据和领域随机化克服密集植被中GNSS信号衰减的问题。该系统在真实世界测试中实现了低于0.76米的平均绝对误差（MAE），展现出在大规模精准农业应用中的可行性。

ABSTRACT

Expensive sensors and inefficient algorithmic pipelines significantly affect the overall cost of autonomous machines. However, affordable robotic solutions are essential to practical usage, and their financial impact constitutes a fundamental requirement to employ service robotics in most fields of application. Among all, researchers in the precision agriculture domain strive to devise robust and cost-effective autonomous platforms in order to provide genuinely large-scale competitive solutions. In this article, we present a complete algorithmic pipeline for row-based crops autonomous navigation, specifically designed to cope with low-range sensors and seasonal variations. Firstly, we build on a robust data-driven methodology to generate a viable path for the autonomous machine, covering the full extension of the crop with only the occupancy grid map information of the field. Moreover, our solution leverages on latest advancement of deep learning optimization techniques and synthetic generation of data to provide an affordable solution that efficiently tackles the well-known Global Navigation Satellite System unreliability and degradation due to vegetation growing inside rows. Extensive experimentation and simulations against computer-generated environments and real-world crops demonstrated the robustness and intrinsic generalizability of our methodology that opens the possibility of highly affordable and fully autonomous machines.

研究动机与目标

• 解决由于昂贵传感器和复杂算法导致的自主农业机器人成本高昂且难以扩展的问题。
• 克服在所有季节生长阶段中，行栽作物密集植被导致的GNSS信号衰减问题。
• 开发仅使用低成本、低范围传感器即可可靠运行的完全自主导航流程。
• 通过合成数据和领域随机化实现在多样化行栽作物环境中的泛化能力。
• 在最小依赖精确定位或高精度GNSS的前提下，实现完整的田间覆盖。

提出的方法

• 利用来自低范围传感器的占用栅格图构建全局路径，确保完整田间覆盖。
• 采用基于视觉的局部路径规划器，使用低成本RGB-D摄像头提取语义和深度信息以实现导航。
• 使用合成数据和领域随机化训练语义分割模型，弥合仿真到真实世界的领域差距。
• 设计一种比例控制器，利用语义分割输出结果，使机器人沿作物行中心行驶。
• 当GNSS可用时，集成GNSS进行全局路径引导；当GNSS不可靠时，切换至基于视觉的控制。
• 利用最近在模型压缩和推理效率方面的进展，优化深度学习模型，以便在低功耗硬件上部署。

实验结果

研究问题

• RQ1 是否可以仅使用低成本、低范围传感器在行栽作物中构建完全自主的导航系统？
• RQ2 结合领域随机化的合成数据在实现跨多样化真实世界行栽作物环境泛化方面有多有效？
• RQ3 基于视觉的导航在GNSS信号因密集植被而衰减的环境中，能在多大程度上减少对GNSS的依赖？
• RQ4 该系统在不同季节生长阶段以及具有不同行间距和冠层密度的作物类型中的表现如何？
• RQ5 所提出的流程是否能达到在精准农业中实际部署所需的精度，同时保持计算和财务开销最小？

主要发现

• 在葡萄园中，系统实现了0.204米的平均绝对误差（MAE），在梨园中为0.659米，多次真实世界测试中RMSE值分别为0.246米和0.755米。
• 在葡萄园中，三次测试的平均误差低于0.3米，表明在较窄行间空间（2.8米）中具有高精度。
• 在梨园（行间间距4.5米）中的表现略差，可能由于行宽增加和视觉线索减少，但仍处于可接受的操作范围内。
• 系统在不同季节期间保持了稳定性能，表明对植被密度季节性变化具有鲁棒性。
• 所有测试均使用相同的软硬件配置，证实了该流程在真实世界条件下具有可靠性和可重复性。
• 平均测试时长约为25分钟，最大速度为0.5米/秒，表明其在田间作业中具备实际可行性。