[论文解读] Efficient identification, localization and quantification of grapevine inflorescences in unprepared field images using Fully Convolutional Networks

Robert Rudolph, Katja Herzog+2 more|arXiv (Cornell University)|Jul 10, 2018

Horticultural and Viticultural Research参考文献 18被引用 6

一句话总结

本文提出了一种基于全卷积神经网络（FCN）的方法，用于在未经预处理的田间图像中，使用消费级相机实现葡萄藤花序及单朵花的自动化、非侵入式检测、定位与定量分析。该方法在花序分割任务中实现了87.6%的平均交并比（IoU），在花的提取任务中实现了80.3%的召回率与70.7%的精确率，从而实现了高通量、客观的表型分析，支持育种和葡萄园管理中的早期产量预测。

ABSTRACT

Yield and its prediction is one of the most important tasks in grapevine breeding purposes and vineyard management. Commonly, this trait is estimated manually right before harvest by extrapolation, which mostly is labor-intensive, destructive and inaccurate. In the present study an automated image-based workflow was developed quantifying inflorescences and single flowers in unprepared field images of grapevines, i.e. no artificial background or light was applied. It is a novel approach for non-invasive, inexpensive and objective phenotyping with high-throughput. First, image regions depicting inflorescences were identified and localized. This was done by segmenting the images into the classes "inflorescence" and "non-inflorescence" using a Fully Convolutional Network (FCN). Efficient image segmentation hereby is the most challenging step regarding the small geometry and dense distribution of flowers (several hundred flowers per inflorescence), similar color of all plant organs in the fore- and background as well as the circumstance that only approximately 5% of an image show inflorescences. The trained FCN achieved a mean Intersection Over Union (IOU) of 87.6% on the test data set. Finally, individual flowers were extracted from the "inflorescence"-areas using Circular Hough Transform. The flower extraction achieved a recall of 80.3% and a precision of 70.7% using the segmentation derived by the trained FCN model. Summarized, the presented approach is a promising strategy in order to predict yield potential automatically in the earliest stage of grapevine development which is applicable for objective monitoring and evaluations of breeding material, genetic repositories or commercial vineyards.

研究动机与目标

• 开发一种自动化、非侵入式且高通量的田间表型分析方法，用于在真实田间条件下检测葡萄藤花序与花朵，无需人工背景或受控光照。
• 克服自然田间图像中像素覆盖率低（约5%）、植物器官颜色相近以及花朵密集簇生等挑战。
• 通过在果实发育前量化花序与花朵数量，实现早期产量预测，支持育种计划与葡萄园管理。
• 以客观、可扩展且成本效益高的成像方案，替代劳动密集、主观性高且常具破坏性的传统人工表型方法。

提出的方法

• 训练全卷积网络（FCN）进行语义分割，将每个像素分类为“花序”或“非花序”，应用于未经预处理的田间图像。
• FCN采用类似U-Net的架构，并引入跳跃连接以保留空间细节，从而实现对小型、密集花序的精确定位。
• 在GPU上处理1216×1216像素的图像块以最大化并行计算，通过边缘镜像与拼接技术重建完整图像。
• 分割完成后，对分割出的花序区域应用圆检测霍夫变换（Circular Hough Transform）以检测单朵花。
• 系统在真实田间条件下使用消费级数码相机拍摄的测试图像集上进行评估。
• 在标准笔记本电脑GPU上测量运行时性能，图像分割耗时7.8秒，花的提取耗时4.16秒，每幅图像总耗时约12秒。

实验结果

研究问题

• RQ1 全卷积神经网络能否在极少预处理且无人工背景的未经预处理田间图像中，准确分割葡萄藤花序？
• RQ2 基于FCN的分割与圆检测霍夫变换相结合，在密集花序结构中检测单朵花的效率如何？
• RQ3 该流程在多大程度上能够实现对葡萄藤开花性状的早期、非破坏性、高通量表型分析，以支持产量预测？
• RQ4 与传统人工或半自动方法相比，该方法在不同基因型与田间条件下是否能在准确性、客观性与可扩展性方面表现更优？

主要发现

• FCN在测试集上实现了87.6%的平均交并比（IoU），证明其在复杂自然田间图像中准确分割花序区域的能力。
• 在FCN分割出的花序区域上应用圆检测霍夫变换进行花的提取，实现了80.3%的召回率与70.7%的精确率。
• 系统在约12秒内完成对5472×3648像素图像的处理，其中分割是主要性能瓶颈。
• 该方法可实现可靠、非侵入且可扩展的葡萄藤花序与花朵表型分析，直接在葡萄园中使用消费级相机完成。
• 该方法支持早期产量预测与果实脱落（coulure）表型分析，通过比较发育后期的果实数量与花的数量实现。
• 未来改进可考虑用基于CNN的花朵检测器替代霍夫变换，仅需花朵的像素级标注即可实现。