[论文解读] An Adaptive Approach for Automated Grapevine Phenotyping using VGG-based Convolutional Neural Networks

Jonatan Grimm, Katja Herzog+4 more|arXiv (Cornell University)|Nov 23, 2018

Horticultural and Viticultural Research被引用 5

一句话总结

本文提出一种基于VGG的端到端全卷积神经网络（FCN），用于从未经处理的RGB田间图像中直接实现葡萄藤表型分析的自动化实例级语义分割，可对关键植物器官（如花芽、浆果、枝条和花梗）进行分割。该方法在六个数据集上实现了高达87.3%的IoU和88.6%的F1分数，在分割与目标检测任务中表现稳健，无需特殊照明或预处理，可实现非侵入式、高通量的表型分析。

ABSTRACT

In (grapevine) breeding programs and research, periodic phenotyping and multi-year monitoring of different grapevine traits, like growth or yield, is needed especially in the field. This demand imply objective, precise and automated methods using sensors and adaptive software. This work presents a proof-of-concept analyzing RGB images of different growth stages of grapevines with the aim to detect and quantify promising plant organs which are related to yield. The input images are segmented by a Fully Convolutional Neural Network (FCN) into object and background pixels. The objects are plant organs like young shoots, pedicels, flower buds or grapes, which are principally suitable for yield estimation. In the ground truth of the training images, each object is separately annotated as a connected segment of object pixels, which enables end-to-end learning of the object features. Based on the CNN-based segmentation, the number of objects is determined by detecting and counting connected components of object pixels using region labeling. In an evaluation on six different data sets, the system achieves an IoU of up to 87.3% for the segmentation and an F1 score of up to 88.6% for the object detection.

研究动机与目标

• 通过实现在田间对植物性状进行客观、精确且自动化的监测，解决葡萄藤育种中的表型分析瓶颈。
• 克服现有方法依赖人工背景、夜间闪光摄影或后处理步骤（如霍夫变换）的局限性。
• 开发一种可泛化的端到端深度学习框架，能够在不为每种性状重新设计的情况下，检测并定位不同生长阶段的多种植物器官。
• 利用消费级相机和标准图像采集方式，实现对大规模育种群体和遗传资源库的高通量、非侵入式表型分析。

提出的方法

• 采用基于VGG的全卷积神经网络（FCN）对RGB图像中的植物器官进行语义分割，使用像素级标注进行端到端训练。
• 采用实例级标注——每个独立器官（如单个浆果或花芽）被标记为一个连通区域——以实现对特定对象特征的直接学习。
• 应用区域标记（连通区域分析）在分割后检测并计数单个对象，替代依赖模型特异性检测步骤（如CHT或霍夫变换）的方法。
• 使用类别平衡采样的交叉熵损失函数进行网络训练，以提升对稀有或小型对象的性能。
• 通过重叠或非重叠图像块处理测试图像，以在速度与精度之间取得平衡，后处理后每张图像的推理时间低于10秒。
• 通过在新标注数据上微调网络，无需改变网络结构，即可将模型适配至不同类型的数据（如未经处理的田间图像、人工背景图像、移动表型平台数据及实验室图像）。

实验结果

研究问题

• RQ1 单一的、可端到端训练的基于CNN的分割模型是否能准确检测并定位未经处理的自然田间图像中的多种葡萄藤器官（如花芽、浆果、枝条）？
• RQ2 在准确性和鲁棒性方面，端到端的实例级分割方法与两阶段方法（如区域建议检测后接霍夫变换）相比表现如何？
• RQ3 该模型在不同成像条件（如自然背景与人工背景、田间与实验室环境）及不同生长阶段下，其泛化能力如何？
• RQ4 在使用重叠与非重叠图像块时，推理速度与分割精度之间存在何种权衡？
• RQ5 该方法是否能够支持大规模群体（如育种计划、遗传资源库）的高通量表型分析，且人工干预极少？

主要发现

• 该模型在表现最佳的数据集上实现了高达87.3%的平均交并比（IoU）分数，证明其在自然背景中对复杂植物器官的分割具有高精度。
• 目标检测与定位的F1分数最高达到88.6%，显著优于先前的两阶段方法（如Rudolph等人，2019年），后者在同一任务中仅达到75.2%的F1分数。
• 在未经处理的田间图像中，花芽检测的F1分数达到86.7%，不仅超过先前最先进方法的75.2% F1，也高于该研究中对真实区域（ROI）标注的80.0% F1。
• 每张图像的分割推理时间在后处理后低于10秒，使该流程适用于高通量应用。
• 该方法具备良好的可适配性：通过在新标注数据上微调网络，无需修改网络结构或增加额外检测模块，即可检测任意感兴趣的植物器官。
• 尽管标注时间较长（如花芽标注耗时约35分钟/张图像），但实例级标注的高精度显著提升了模型性能，优于以往研究中使用的粗粒度多边形标注。