[论文解读] Image Segmentation for Fruit Detection and Yield Estimation in Apple Orchards

Suchet Bargoti, James Underwood|arXiv (Cornell University)|Oct 25, 2016

Smart Agriculture and AI参考文献 39被引用 5

一句话总结

本文提出了一种基于深度学习的图像分割框架，用于使用单目地面无人车（UGV）采集的图像实现苹果园中的果实检测与产量估算。通过将元数据（如相机位置、太阳角度）整合到多尺度MLP和CNN架构中，该方法提升了像素级分割和果实计数的准确性，实现了估算值与实际收获后计数之间的决定系数 r² = 0.826。

ABSTRACT

Ground vehicles equipped with monocular vision systems are a valuable source of high resolution image data for precision agriculture applications in orchards. This paper presents an image processing framework for fruit detection and counting using orchard image data. A general purpose image segmentation approach is used, including two feature learning algorithms; multi-scale Multi-Layered Perceptrons (MLP) and Convolutional Neural Networks (CNN). These networks were extended by including contextual information about how the image data was captured (metadata), which correlates with some of the appearance variations and/or class distributions observed in the data. The pixel-wise fruit segmentation output is processed using the Watershed Segmentation (WS) and Circular Hough Transform (CHT) algorithms to detect and count individual fruits. Experiments were conducted in a commercial apple orchard near Melbourne, Australia. The results show an improvement in fruit segmentation performance with the inclusion of metadata on the previously benchmarked MLP network. We extend this work with CNNs, bringing agrovision closer to the state-of-the-art in computer vision, where although metadata had negligible influence, the best pixel-wise F1-score of $0.791$ was achieved. The WS algorithm produced the best apple detection and counting results, with a detection F1-score of $0.858$. As a final step, image fruit counts were accumulated over multiple rows at the orchard and compared against the post-harvest fruit counts that were obtained from a grading and counting machine. The count estimates using CNN and WS resulted in the best performance for this dataset, with a squared correlation coefficient of $r^2=0.826$.

研究动机与目标

• 开发一种用于商业苹果园中果实检测与产量估算的自动化图像处理流水线，基于地面单目视觉技术。
• 通过采用通用型深度学习模型（ms-MLP与CNN）实现端到端图像分割，减少对手工设计特征的依赖。
• 通过在学习过程中整合上下文元数据（如相机轨迹、太阳位置），提升分割与检测性能。
• 通过与收获后分级机获取的真实计数对比，评估该框架的准确性，实现可靠的产量制图。

提出的方法

• 采用多尺度多层感知机（ms-MLP）和卷积神经网络（CNN）对果园场景中的果实实现像素级图像分割。
• 将元数据（如像素位置、行号、相对于相机的太阳位置）整合到ms-MLP与CNN模型的输入特征中，以建模外观变化。
• 使用分水岭分割（WS）和圆形霍夫变换（CHT）对分割输出进行后处理，以检测并计数单个果实。
• 将基于图像的果实计数与分级机获取的实际收获后计数进行校准，以评估产量估算的准确性。
• 在0.5公顷苹果园数据集上训练模型，该数据集在自然光照条件下采集，涵盖多种品种（红色、粉绿色、绿色），光照与遮挡条件多样。
• 采用预训练CNN并应用迁移学习原则，在几乎不依赖元数据的情况下实现最先进的分割性能。

实验结果

研究问题

• RQ1 在真实果园图像中，将元数据整合到深度学习模型中是否能提升像素级果实分割性能？
• RQ2 元数据的引入对ms-MLP与CNN架构在果实分割任务中的性能分别产生何种影响？
• RQ3 在果实检测中，分水岭分割（WS）与圆形霍夫变换（CHT）哪种后处理算法能实现更高的准确性？
• RQ4 基于图像的果实计数与实际收获后计数之间的相关性达到何种程度？该框架在产量估算方面可实现的准确度如何？

主要发现

• 在ms-MLP网络中引入元数据提升了分割性能，表明元数据有助于简化模型在较少训练样本下实现更好的泛化能力。
• CNN模型在像素级分割F1得分上达到最佳水平（0.791），且元数据的影响可忽略不计，表明CNN本身能够无需元数据指导即捕获复杂的视觉模式。
• 分水岭分割（WS）在果实检测中优于圆形霍夫变换（CHT），检测F1得分为0.858。
• 结合CNN分割与WS检测的方案实现了最佳的产量估算性能，图像估算值与实际收获后计数之间的决定系数 r² = 0.826。
• 系统每张1232×1616图像的预测时间约为7秒，表明其具备在机器人平台实现实时部署的潜力。
• 该框架可实现准确、非破坏性且可扩展的产量制图，且无需在标准UGV成像之外额外采集数据。