[论文解读] Deep Mangoes: from fruit detection to cultivar identification in colour images of mango trees

Philippe Borianne, Frédéric Borne+2 more|arXiv (Cornell University)|Sep 24, 2019

Smart Agriculture and AI参考文献 35被引用 15

一句话总结

本文提出一种基于Faster R-CNN的方法，用于在高分辨率彩色芒果树图像中检测芒果果实并识别其品种（Kent、Keitt、Boucodiekhal）。在500×500像素图像块中，果实检测的F1得分达到0.90，联合检测与识别的F1得分为0.56，检测到的果实品种分类准确率达80%，表明该方法有潜力与Mask R-CNN及双流Faster R-CNN结合以提升性能。

ABSTRACT

This paper presents results on the detection and identification mango fruits from colour images of trees. We evaluate the behaviour and the performances of the Faster R-CNN network to determine whether it is robust enough to "detect and classify" fruits under particularly heterogeneous conditions in terms of plant cultivars, plantation scheme, and visual information acquisition contexts. The network is trained to distinguish the 'Kent', 'Keitt', and "Boucodiekhal" mango cultivars from 3,000 representative labelled fruit annotations. The validation set composed of about 7,000 annotations was then tested with a confidence threshold of 0.7 and a Non-Maximal-Suppression threshold of 0.25. With a F1-score of 0.90, the Faster R-CNN is well suitable to the simple fruit detection in tiles of 500x500 pixels. We then combine a multi-tiling approach with a Jaccard matrix to merge the different parts of objects detected several times, and thus report the detections made at the tile scale to the native 6,000x4,000 pixel size images. Nonetheless with a F1-score of 0.56, the cultivar identification Faster R-CNN network presents some limitations for simultaneously detecting the mango fruits and identifying their respective cultivars. Despite the proven errors in fruit detection, the cultivar identification rates of the detected mango fruits are in the order of 80%. The ideal solution could combine a Mask R-CNN for the image pre-segmentation of trees and a double-stream Faster R-CNN for detecting the mango fruits and identifying their respective cultivar to provide predictions more relevant to users' expectations.

研究动机与目标

• 开发一种鲁棒的深度学习系统，用于在复杂多样的农业成像条件下检测和识别芒果果实。
• 评估Faster R-CNN在不同光照、树体结构和成像条件下对三种主要芒果品种（Kent、Keitt、Boucodiekhal）进行果实检测与分类的性能。
• 通过结合多区块拼接与基于Jaccard矩阵的空间合并，解决尺度变化与目标碎片化问题。
• 评估在高分辨率图像（6,000×4,000像素）中联合进行果实检测与品种分类的可行性。
• 识别当前检测与分类性能的局限性，并提出更有效的架构以适用于实际农业应用场景。

提出的方法

• 在3,000个标注的芒果果实实例（涵盖Kent、Keitt和Boucodiekhal三个品种）上训练Faster R-CNN模型。
• 在基于图像块的推理中，使用置信度阈值0.7和非极大值抑制阈值0.25进行检测结果后处理。
• 采用多区块拼接策略，将6,000×4,000像素的大图像划分为500×500像素的图像块进行处理。
• 利用Jaccard矩阵合并相邻图像块之间的重叠检测结果，以重建完整图像中的目标位置。
• 在约7,000个标注的验证集上评估检测与分类性能。
• 提出一种混合架构，结合Mask R-CNN进行树体图像分割，以及双流Faster R-CNN实现果实检测与品种分类的并行处理。

实验结果

研究问题

• RQ1 Faster R-CNN能否在不同品种的复杂色彩与结构条件下可靠检测芒果果实？
• RQ2 在真实成像条件下，Faster R-CNN在联合检测芒果果实与识别其品种方面的有效性如何？
• RQ3 采用基于Jaccard的合并策略进行多区块拼接，在大规模图像中在多大程度上提升了检测的一致性？
• RQ4 联合检测与分类的主要失败模式是什么，如何加以缓解？
• RQ5 与单流方法相比，双流Faster R-CNN架构在并行实现果实检测与品种识别方面是否更具有效性？

主要发现

• 在500×500像素图像块中，Faster R-CNN的果实检测F1得分为0.90，表明在受控图像块条件下检测性能出色。
• 联合检测与品种识别任务的F1得分为0.56，表明在同时进行目标检测与细粒度分类时面临显著挑战。
• 尽管存在检测误差，对已检测到果实的品种分类准确率仍达到约80%，表明在检测可靠时分类具有较强鲁棒性。
• 采用多区块拼接与Jaccard矩阵合并的方法，成功从碎片化的图像块检测结果中重建出完整图像的检测结果。
• 本研究识别出当前单流Faster R-CNN在联合检测与分类任务中的局限性，从而推动了双流架构的提出。
• 作者结论认为，结合Mask R-CNN进行树体分割与双流Faster R-CNN进行并行检测与分类，是解决实际农业视觉任务更有效的方案。