[论文解读] An Image Labeling Tool and Agricultural Dataset for Deep Learning

Patrick Wspanialy, Justin Brooks+1 more|arXiv (Cornell University)|Apr 6, 2020

Smart Agriculture and AI参考文献 13被引用 12

一句话总结

本文提出了一种新型图像标注工具及植物在场景中的对象（POCO）数据集，以推动农业计算机视觉的发展。该工具支持手动、半自动和全自动标注，采用自由形状多边形和泛洪填充技术，能够精确分割植物各部分及病害区域。该数据集采用扩展的 COCO 标准格式，并包含 POCO 元数据，涵盖温室、PlantVillage 和网络获取图像中的 10,000 个番茄、7,000 片叶子、2,000 根茎和 2,000 个病叶标注。

ABSTRACT

We introduce a labeling tool and dataset aimed to facilitate computer vision research in agriculture. The annotation tool introduces novel methods for labeling with a variety of manual, semi-automatic, and fully-automatic tools. The dataset includes original images collected from commercial greenhouses, images from PlantVillage, and images from Google Images. Images were annotated with segmentations for foreground leaf, fruit, and stem instances, and diseased leaf area. Labels were in an extended COCO format. In total the dataset contained 10k tomatoes, 7k leaves, 2k stems, and 2k diseased leaf annotations.

研究动机与目标

• 解决深度学习在农业图像领域缺乏大规模、公开可用且结构良好的数据集的问题。
• 克服现有标注工具在处理复杂、弯曲的自然物体（如叶片和果实）时的局限性。
• 通过标准化与 COCO 生态系统兼容的数据集格式，促进可复现的研究与基准测试。
• 通过像素级分割植物各部分、病害及发育阶段，推动农业场景的高级理解。
• 支持多模态标注，包含成熟度阶段、植株 ID 和动态骨架结构等元数据。

提出的方法

• 开发了一款自定义图像标注工具，配备键盘快捷键与鼠标手势，以提升标注效率。
• 引入自由形状多边形工具，通过点击-拖拽-释放操作生成初始边界，支持可调精度与顶点编辑以实现精细化调整。
• 实现泛洪填充工具，可选择颜色均匀区域并生成包围多边形，支持可调颜色容差与顶点数量。
• 支持多用户协作标注，采用基于角色的访问控制，允许用户从空白图像或他人工作副本开始，提升标注一致性与准确性。
• 设计基于 COCO JSON 的数据集格式，通过添加 'poco' 属性扩展，支持植物特异性元数据，如成熟度阶段、植株 ID 及每条标注的骨架结构。
• 将数据集划分为三个子集：植物部件、病害/害虫，以及时间序列植物发育图像，以支持特定应用场景。

实验结果

研究问题

• RQ1 如何提升对叶片和果实等复杂自然形状农业对象的标注效率与准确性？
• RQ2 半自动与全自动工具在保持分割保真度的前提下，能在多大程度上减少人工标注工作量？
• RQ3 标准化的扩展 COCO 格式是否能够满足农业计算机视觉的独特需求，同时保持与现有工具的兼容性？
• RQ4 包含成熟度阶段与植株 ID 等元数据，如何提升下游模型性能与可复现性？
• RQ5 一个经过筛选、公开可用且具备像素级标注的数据集，对农业计算机视觉的基准测试与研究进展有何影响？

主要发现

• 与传统逐顶点点击方法相比，该标注工具显著提升了对自然弯曲物体的标注效率，其中自由形状多边形是最常使用的标注技术。
• 该数据集包含 10,000 个番茄实例、7,000 片叶子、2,000 根茎和 2,000 个病叶标注，总计 21,000 个标注实例，覆盖多种图像来源。
• 扩展的 COCO 格式通过 'poco' 元数据字段，实现了丰富且应用特定的信息存储，同时保持与标准 COCO 工具的兼容性。
• 包含番茄植株在 30 天内生长的时间序列图像，支持植物发育与表型追踪研究。
• 数据集整合了来自 PlantVillage、Google 图像及原始温室采集的图像，提升了数据多样性与现实相关性。
• 基于共享结果与版本控制的多用户标注系统，通过协作优化显著提升了标注一致性并降低了错误率。