[论文解读] Leaf Only SAM: A Segment Anything Pipeline for Zero-Shot Automated Leaf Segmentation

Dominic Williams, Fraser Macfarlane+1 more|arXiv (Cornell University)|May 16, 2023

Smart Agriculture and AIAgricultural and Biological Sciences被引用 3

一句话总结

本文提出Leaf Only SAM，一种零样本流水线，利用分割一切模型（SAM）结合后处理技术，无需任何训练数据或标注即可自动分割马铃薯叶片。尽管其精确率（60.3）和召回率（63.2）低于微调后的Mask R-CNN（精确率74.7，召回率78.7），但该方法在消除昂贵的数据标注需求方面展现出强大的植物表型分析潜力。

ABSTRACT

Segment Anything Model (SAM) is a new foundation model that can be used as a zero-shot object segmentation method with the use of either guide prompts such as bounding boxes, polygons, or points. Alternatively, additional post processing steps can be used to identify objects of interest after segmenting everything in an image. Here we present a method using segment anything together with a series of post processing steps to segment potato leaves, called Leaf Only SAM. The advantage of this proposed method is that it does not require any training data to produce its results so has many applications across the field of plant phenotyping where there is limited high quality annotated data available. We compare the performance of Leaf Only SAM to a Mask R-CNN model which has been fine-tuned on our small novel potato leaf dataset. On the evaluation dataset, Leaf Only SAM finds an average recall of 63.2 and an average precision of 60.3, compared to recall of 78.7 and precision of 74.7 for Mask R-CNN. Leaf Only SAM does not perform better than the fine-tuned Mask R-CNN model on our data, but the SAM based model does not require any extra training or annotation of our new dataset. This shows there is potential to use SAM as a zero-shot classifier with the addition of post processing steps.

研究动机与目标

• 开发一种零样本叶片分割流水线，避免在植物表型分析中使用标注训练数据。
• 评估SAM结合后处理是否能在不微调的情况下有效隔离叶片区域。
• 在新型马铃薯叶片数据集上，将所提方法与微调后的Mask R-CNN进行性能比较。
• 证明像SAM这样的基础模型可作为零样本分类器，用于特定生物分割任务的可行性。

提出的方法

• 该方法使用预训练的分割一切模型（SAM）对图像中所有对象（包括叶片）生成掩码。
• 应用后处理流水线对掩码进行过滤，仅保留对应叶片区域的掩码。
• 过滤过程依赖于几何和形态学特征，如面积、长宽比和轮廓形状，以区分叶片与其他物体。
• 该流水线端到端应用于马铃薯植株图像，无需任何模型微调或额外标注。
• 该方法利用SAM的零样本泛化能力，直接从原始图像中分割叶片。
• 最终输出为仅标识叶片区域的二值掩码，适用于下游表型分析应用。

实验结果

研究问题

• RQ1 是否仅通过后处理即可有效适配SAM实现零样本叶片分割，而无需微调或标注数据？
• RQ2 在新型马铃薯叶片数据集上，SAM流水线的性能与微调后的Mask R-CNN相比如何？
• RQ3 哪些形态学和几何特征最有效地从SAM的完整实例分割输出中分离出叶片掩码？
• RQ4 当结合特定领域后处理时，基础模型如SAM在植物表型分析中能在多大程度上充当零样本分类器？
• RQ5 缺乏训练数据是否显著影响叶片特定任务中的分割精度？

主要发现

• Leaf Only SAM在评估数据集上实现了63.2的平均召回率和60.3的平均精确率。
• 微调后的Mask R-CNN在相同数据集上表现更优，召回率为78.7，精确率为74.7。
• 尽管性能指标较低，SAM方法无需任何训练数据或标注，凸显其零样本优势。
• 后处理流水线通过利用SAM初始分割掩码的形状和尺寸约束，成功隔离了叶片区域。
• 结果证实，SAM可被重新用于零样本分类器，实现叶片分割，仅需极少领域特定适配。
• 该方法在标注数据稀缺或不可用的植物表型分析应用中展现出巨大潜力。