[论文解读] Counting and Segmenting Sorghum Heads

Min-hwan Oh, Peder A. Olsen+1 more|arXiv (Cornell University)|May 30, 2019

Wood and Agarwood Research参考文献 55被引用 13

一句话总结

本文提出了一种两阶段深度学习框架，用于在航拍图像中自动计数和实例分割高粱小穗，采用基于密度图的新型卷积神经网络进行计数，以及一种抗遮挡聚类算法进行分割。该方法在计数任务中的平均绝对误差（MAE）为1.06，在实例分割任务中的mAP为0.66，优于CSRNet等最先进方法及传统方法。

ABSTRACT

Phenotyping is the process of measuring an organism's observable traits. Manual phenotyping of crops is a labor-intensive, time-consuming, costly, and error prone process. Accurate, automated, high-throughput phenotyping can relieve a huge burden in the crop breeding pipeline. In this paper, we propose a scalable, high-throughput approach to automatically count and segment panicles (heads), a key phenotype, from aerial sorghum crop imagery. Our counting approach uses the image density map obtained from dot or region annotation as the target with a novel deep convolutional neural network architecture. We also propose a novel instance segmentation algorithm using the estimated density map, to identify the individual panicles in the presence of occlusion. With real Sorghum aerial images, we obtain a mean absolute error (MAE) of 1.06 for counting which is better than using well-known crowd counting approaches such as CCNN, MCNN and CSRNet models. The instance segmentation model also produces respectable results which will be ultimately useful in reducing the manual annotation workload for future data.

研究动机与目标

• 为解决因人工表型分析高粱小穗费工且易出错而造成的作物育种瓶颈。
• 开发一种可扩展的高通量方法，用于从航拍图像中自动计数和实例分割高粱小穗。
• 通过实现近乎免费的实例分割，减少人工标注工作量，使其可集成至标注工具中。
• 将先验知识（如计数的单调性及与温度相关的生长模式）融入深度学习模型中。

提出的方法

• 采用两阶段CNN架构：第一阶段检测小穗像素，第二阶段估计密度图以实现计数。
• 密度图由点标注或区域标注生成，作为计数网络训练的目标。
• 提出一种新型聚类适应度函数，结合方差最小化与密度质量对目标值β的接近度，实现对小穗超像素的鲁棒聚类。
• 采用贪心自底向上的聚类策略，基于适应度提升合并聚类对，初始聚类为单个小穗超像素。
• 实例分割利用估计的密度图与检测到的小穗区域作为输入，以识别被遮挡情况下的个体小穗。
• 应用匈牙利算法对预测与真实小穗进行对齐，以实现精确的IoU计算与mAP评估。

实验结果

研究问题

• RQ1 在航拍高粱图像中，基于密度图训练的深度学习模型是否能实现优于现有人群计数方法的小穗计数性能？
• RQ2 在小穗部分重叠或聚集的情况下，抗遮挡聚类方法在分割个体小穗方面的有效性如何？
• RQ3 预测的实例分割在多大程度上可减少未来数据采集流程中的人工标注需求？
• RQ4 诸如单调性与温度依赖性等先验知识约束在提升计数模型鲁棒性与准确性方面发挥多大作用？

主要发现

• 所提出的计数模型实现了1.06的平均绝对误差（MAE），优于CSRNet（MAE 1.19）及其他最先进的人群计数模型。
• 实例分割模型在IoU阈值为0.5时实现了0.66的平均精度（mAP），在复杂且存在遮挡的小穗场景中表现出色。
• 整合单调性与温度依赖性等先验知识可提升模型在不同生长阶段的泛化能力与稳定性。
• 基于聚类的分割方法计算效率高，且兼容实时GUI集成，可复用于标注工作流。
• 该方法通过实现近乎免费的实例分割，显著降低了人工标注负担，且支持迭代优化。
• 在公开可用的高粱图像数据集上的实验表明，包括本模型在内的基于深度学习的计数方法在大多数情况下优于非深度学习基线方法。