[论文解读] Deep Leaf Segmentation Using Synthetic Data

Daniel B. Ward, Peyman Moghadam+1 more|arXiv (Cornell University)|Jul 28, 2018

Smart Agriculture and AI参考文献 11被引用 73

一句话总结

本文通过基于 Blender 的管线生成的拟 Arabidopsis 叶片的合成数据，扩充了用于叶片实例分割的有限真实训练数据，在 CVPPP LSC 上取得了最先进的结果，尤其是当 Real 与 Synthetic 数据结合时。

ABSTRACT

Automated segmentation of individual leaves of a plant in an image is a prerequisite to measure more complex phenotypic traits in high-throughput phenotyping. Applying state-of-the-art machine learning approaches to tackle leaf instance segmentation requires a large amount of manually annotated training data. Currently, the benchmark datasets for leaf segmentation contain only a few hundred labeled training images. In this paper, we propose a framework for leaf instance segmentation by augmenting real plant datasets with generated synthetic images of plants inspired by domain randomisation. We train a state-of-the-art deep learning segmentation architecture (Mask-RCNN) with a combination of real and synthetic images of Arabidopsis plants. Our proposed approach achieves 90% leaf segmentation score on the A1 test set outperforming the-state-of-the-art approaches for the CVPPP Leaf Segmentation Challenge (LSC). Our approach also achieves 81% mean performance over all five test datasets.

研究动机与目标

• 解决植物表型学中叶片实例分割标注数据稀缺的问题。
• 提出一个利用领域随机化的拟 Arabidopsis 叶片合成数据生成管线。
• 评估真实、合成和混合训练数据对 CVPPP Leaf Segmentation Challenge 结果的影响。

提出的方法

• 使用以 ResNet101 主干的 Mask-RCNN，在真实 CVPPP A1 数据与 10,000 张合成植物图像的混合数据上训练。
• 在 Blender 中设计单一启发叶片并对叶片进行变形、纹理化和放置以形成玫瑰叶簇，从而生成合成 Arabidopsis 植物。
• 对合成叶片进行渲染，使用多种纹理（30 种纹理）和背景（随机盆景背景），并应用高斯模糊以与背景融合。
• 以真实与合成数据的平衡批次进行训练，并应用标准数据增强（翻转、旋转、缩放、裁剪）。
• 尝试冻结特征提取器以与领域随机化方法进行比较。

实验结果

研究问题

• RQ1 当将合成植物图像与真实数据结合用于 CVPPP LSC 时，是否能提升叶片实例分割？
• RQ2 合成数据中的纹理变化和背景随机化如何影响分割性能？
• RQ3 在可变形植物模型中，冻结预训练特征是否与合成数据相互作用产生正面或负面的影响？
• RQ4 合成数据在跨物种（拟南芥 vs 烟草）中匹配真实叶几何形状的极限是什么？

主要发现

• 使用真实数据与合成数据的混合训练（Synthetic+real）在 A1 上达到 90.0 SBD，在 A2 上为 81.0，在 A3 为 51.0，在 A4 为 88，A5 为 82，五个测试集平均为 81。
• 单独使用合成数据在 A1、A2、A4 上通常不及真实数据，但在纹理变异受控时，在某些集合上超过真实数据。
• 逐叶纹理（Synthetic-leaf）在大多数测试集中提升了性能，除了 A3，说明纹理真实度对可变形叶片的重要性。
• 从 COCO 采样的随机纹理（Synthetic-COCO）表现最差，凸显需要与领域相关的纹理。
• 混合真实与合成数据提供了最佳的整体泛化能力，提升鲁棒性并减少背景伪影（如基准标记）带来的误检。
• 在对合成数据进行训练时冻结特征提取器会降低结果，表明可变形植物几何挑战了某些领域自适应方法的刚性对象假设。