[论文解读] Agricultural Plant Cataloging and Establishment of a Data Framework from UAV-based Crop Images by Computer Vision

Maurice Günder, Facundo Ramón Ispizua Yamati+4 more|arXiv (Cornell University)|Jan 8, 2022

Smart Agriculture and AI参考文献 38被引用 29

一句话总结

本文提出了一种基于计算机视觉的工作流程，通过无人机获取的作物图像实现对单株植物的自动化时空目录编纂，支持大规模时空分析。通过利用RGB图像处理、峰值检测和几何校准，该方法在植物识别方面实现了与深度学习相当的高精度，同时仅需极少的人工干预即可支持下游任务，如病害严重程度分类。

ABSTRACT

UAV-based image retrieval in modern agriculture enables gathering large amounts of spatially referenced crop image data. In large-scale experiments, however, UAV images suffer from containing a multitudinous amount of crops in a complex canopy architecture. Especially for the observation of temporal effects, this complicates the recognition of individual plants over several images and the extraction of relevant information tremendously. In this work, we present a hands-on workflow for the automatized temporal and spatial identification and individualization of crop images from UAVs abbreviated as "cataloging" based on comprehensible computer vision methods. We evaluate the workflow on two real-world datasets. One dataset is recorded for observation of Cercospora leaf spot - a fungal disease - in sugar beet over an entire growing cycle. The other one deals with harvest prediction of cauliflower plants. The plant catalog is utilized for the extraction of single plant images seen over multiple time points. This gathers large-scale spatio-temporal image dataset that in turn can be applied to train further machine learning models including various data layers. The presented approach improves analysis and interpretation of UAV data in agriculture significantly. By validation with some reference data, our method shows an accuracy that is similar to more complex deep learning-based recognition techniques. Our workflow is able to automatize plant cataloging and training image extraction, especially for large datasets.

研究动机与目标

• 解决在密集作物冠层中跨多张无人机图像识别和追踪单株植物的挑战。
• 开发一种完全自动化、可扩展的植物编目工作流程，避免依赖昂贵传感器或人工标注。
• 支持为精准农业中机器学习模型的训练创建大规模、时间分辨的图像数据集。
• 通过提供一致且具有地理参考的植物数据，支持病害进展分析和表型特征提取等应用。
• 在真实田间条件下，证明该方法在多种作物类型（包括甜菜和花椰菜）中的鲁棒性。

提出的方法

• 使用植物-土壤分割处理多时相、多光谱的无人机图像，以分离出单株植物。
• 应用自适应高斯模糊滤波以增强RGB图像中植物中心定位的峰值检测。
• 通过空间邻近性和时间一致性对不同时相检测到的植物峰值进行分组，实现时间序列追踪。
• 整合地面控制点（GCPs）进行地理参照，确保全局坐标（WGS84）下亚厘米级精度。
• 利用播种线检测和几何校准优化植物编目，减少误报。
• 提取单株植物的时间序列图像块，支持后续分析与模型训练。

实验结果

研究问题

• RQ1 基于计算机视觉的工作流程是否能够在不依赖深度学习或专用传感器的情况下，实现从无人机RGB图像中准确、自动地进行植物编目？
• RQ2 所提出的方法在密集复杂作物冠层中跨多个时间点追踪单株植物的效率如何？
• RQ3 所生成的植物编目在多大程度上能够支持下游机器学习任务，如病害严重程度分类？
• RQ4 与更复杂的基于深度学习的方法相比，该方法在精度和可扩展性方面表现如何？
• RQ5 该框架是否可泛化应用于不同作物类型和田间条件，包括高密度杂草或闭合冠层的环境？

主要发现

• 所提出的工作流程在植物检测精度上可与复杂深度学习方法相媲美，证明其在大规模应用中的可行性。
• 该方法成功实现了在多次无人机过境中对单株植物的一致、时间分辨的图像块提取。
• 使用提取的植物图像训练的ResNet-50模型表现出优异的分类性能，混淆矩阵显示90.7%的预测结果正确归类为真正的病害严重度等级1（完全健康）。
• 该框架支持高通量数据生成，可创建大规模、带标注的数据集，用于训练鲁棒的机器学习模型。
• 仅使用RGB图像进行峰值检测已足够实现可靠的植物编目，降低了硬件和数据采集的门槛。
• 该工作流程高度可自动化且可扩展，支持在多个田块或子区域并行处理，如在包含大量小地块的甜菜单一样得到验证。