[论文解读] Kiwifruit detection in challenging conditions

Mahla Nejati, Nicky Penhall+5 more|arXiv (Cornell University)|Jun 21, 2020

Smart Agriculture and AI参考文献 25被引用 6

一句话总结

本文提出一种基于全卷积神经网络（FCN-8s）的语义分割方法，结合新颖的预处理技术，以提升在果园复杂光照条件（如眩光和过曝）下的猕猴桃检测性能。该方法在恶劣光照条件下将F1分数从0.13提升至0.42，实现了所有条件下非遮挡果实87.0%的检测率和遮挡果实30.0%的检测率。

ABSTRACT

Accurate and reliable kiwifruit detection is one of the biggest challenges in developing a selective fruit harvesting robot. The vision system of an orchard robot faces difficulties such as dynamic lighting conditions and fruit occlusions. This paper presents a semantic segmentation approach with two novel image prepossessing techniques designed to detect kiwifruit under the harsh lighting conditions found in the canopy. The performance of the presented system is evaluated on a 3D real-world image set of kiwifruit under different lighting conditions (typical, glare, and overexposed). Alone the semantic segmentation approach achieves an F1_score of 0.82 on the typical lighting image set, but struggles with harsh lighting with an F1_score of 0.13. Utilising the prepossessing techniques the vision system under harsh lighting improves to an F1_score 0.42. To address the fruit occlusion challenge, the overall approach was found to be capable of detecting 87.0% of non-occluded and 30.0% of occluded kiwifruit across all lighting conditions.

研究动机与目标

• 解决果园环境中常见动态且恶劣光照条件下猕猴桃精准检测的挑战。
• 克服传统手工设计特征方法在光照变化和遮挡条件下失效的局限性。
• 通过集成针对光照伪影定制的预处理技术，提升面向选择性采摘机器人的检测鲁棒性。
• 在典型、眩光和过曝光照条件下，基于真实世界3D图像数据评估模型性能。
• 尽管增加了预处理步骤，仍保持约1.5秒/张图像的处理时间，实现机器人平台上的实时部署。

提出的方法

• 采用全卷积神经网络（FCN-8s）进行语义分割，实现猕猴桃的像素级检测。
• 引入预处理流程：在眩光图像中用绿色通道替换蓝色通道，以减轻过曝影响。
• 应用直方图均衡化（HE）以压缩动态范围：对过曝图像全局应用，对眩光图像的子图像局部应用。
• 使用仅48张图像（200×200像素，共113个猕猴桃）的小型训练数据集训练FCN-8s模型，降低数据依赖性。
• 定义并标注三类图像：典型光照、眩光和过曝条件，用于评估。
• 结合语义分割与后处理技术，识别单个果实，包括处理由叶片、导线和重叠花萼引起的遮挡。

实验结果

研究问题

• RQ1 在真实果园环境中光照条件多变甚至极端的情况下，语义分割模型能否实现可靠的猕猴桃检测？
• RQ2 所提出的预处理技术（蓝色通道替换与直方图均衡化）在改善眩光和过曝条件下的检测性能方面效果如何？
• RQ3 果实遮挡（由叶片、枝条或重叠花萼引起）在多大程度上影响检测准确率？模型是否仍能识别被遮挡的果实？
• RQ4 在实时机器人部署场景中，检测准确率（F1分数）与处理时间之间存在何种权衡？
• RQ5 与以往工作相比，该方法在误报率、训练数据量和单个果实检测能力方面表现如何？

主要发现

• 仅使用语义分割模型，在典型光照条件下F1分数达到0.82，展现出强劲的基线性能。
• 在恶劣光照（眩光和过曝）条件下，F1分数显著下降至0.13，凸显了动态光照带来的挑战。
• 所提出的预处理技术将恶劣光照条件下的F1分数提升至0.42，显著增强了模型鲁棒性。
• 系统在所有光照条件下检测到87.0%的非遮挡猕猴桃和30.0%的遮挡果实，表明对遮挡具有部分抗性。
• 处理时间平均为每张图像1.5秒，使该方法适用于实时机器人部署。
• 尽管仅使用113个标注猕猴桃（来自48张训练图像），该模型的精确率（0.92）高于此前基于11,760个标注猕猴桃训练的Faster R-CNN模型，表明其具有更高的数据效率和可靠性。