[论文解读] Leaf segmentation through the classification of edges

Jonathan Bell, Hannah Dee|arXiv (Cornell University)|Apr 5, 2019

Leaf Properties and Growth MeasurementAgricultural and Biological Sciences参考文献 18被引用 17

一句话总结

本文提出了一种新颖的边缘分类方法，采用浅层卷积神经网络（CNN）对拟南芥植株的俯视图像进行叶片分割，即使在严重遮挡情况下也能实现精确的叶片计数和面积估算。通过将Canny检测到的边缘分类为背景、植株边缘、叶对叶边缘或内部噪声，该方法实现了鲁棒的基于区域的分割，其性能优于现有技术在遮挡莲座状植株上的表现。

ABSTRACT

We present an approach to leaf level segmentation of images of Arabidopsis thaliana plants based upon detected edges. We introduce a novel approach to edge classification, which forms an important part of a method to both count the leaves and establish the leaf area of a growing plant from images obtained in a high-throughput phenotyping system. Our technique uses a relatively shallow convolutional neural network to classify image edges as background, plant edge, leaf-on-leaf edge or internal leaf noise. The edges themselves were found using the Canny edge detector and the classified edges can be used with simple image processing techniques to generate a region-based segmentation in which the leaves are distinct. This approach is strong at distinguishing occluding pairs of leaves where one leaf is largely hidden, a situation which has proved troublesome for plant image analysis systems in the past. In addition, we introduce the publicly available plant image dataset that was used for this work.

研究动机与目标

• 解决在高通量表型分析中，尤其在莲座状植株中常见的叶对叶遮挡情况下，叶片级别的分割挑战。
• 通过实现单个叶片的计数和面积估算，超越整体植株的分割，这对动态生长分析至关重要。
• 开发一种对低分辨率、失焦和畸变图像具有鲁棒性的方法，这些图像在自动化表型分析系统中普遍存在。
• 创建并发布一个公开可用的高质量数据集，以支持未来在植物图像分析和深度学习方面的研究。
• 通过在包括LSC A2基准在内的不同数据集上展示训练模型的可迁移性，验证其泛化潜力。

提出的方法

• 使用Canny边缘检测器检测俯视植物图像中的边缘，作为分割流程的初始输入。
• 训练一个浅层卷积神经网络，将每个检测到的边缘分类为四种类别之一：背景、植株边缘、叶对叶边缘或叶片内部噪声。
• 将分类后的边缘作为输入，用于区域生长或形态学分割算法，以生成独立的叶片区域。
• 利用边缘分类结果解决重叠叶片中的模糊性问题，特别是在传统方法失效的遮挡区域。
• 在无需微调的情况下将训练好的CNN应用于新图像，实现高通量表型系统中的快速部署，且用户交互极少。
• 通过完全避免人工干预，仅依赖训练好的模型和分类后的图像处理，确保方法的可扩展性和自动化。

实验结果

研究问题

• RQ1 与传统的整体植株分割方法相比，使用浅层CNN进行边缘分类是否能显著提高在遮挡莲座状植株中叶片分割的准确性？
• RQ2 该边缘分类模型在不同成像设置和数据集（如LSC A2基准）上的泛化能力如何？
• RQ3 该方法在处理高通量表型平台中常见的低分辨率、失焦和畸变图像方面的表现如何？
• RQ4 使用公开可用的标注数据集（ALED）是否能提升模型的泛化能力，并促进植物图像分析领域的社区采纳？
• RQ5 该方法是否能在不依赖叶片形状先验知识或几何模型的情况下，实现高精度的叶片计数和分割？

主要发现

• 所提出的边缘分类方法在严重遮挡情况下，特别是在叶对叶重叠区域，仍能实现优异的叶片分割性能。
• 在ALED数据集上训练的模型在LSC A2基准数据集上表现出合理的泛化能力，表明其具备跨数据集的迁移能力。
• 叶片计数结果与2015年叶片分割挑战赛报告的结果相比具有竞争力或更优，证明了精度的提升。
• 该方法对图像质量变化具有鲁棒性，包括低分辨率（5 MP）、轻微失焦和桶形畸变，这些在自动化表型系统中十分常见。
• 采用浅层CNN实现了高效的推理，支持高通量自动化，且无需高端计算资源。
• 发布带有详细标注的ALED数据集，有望加速植物图像分析和表型分析中深度学习的研究进展。