[论文解读] Investigating the Segment Anything Foundation Model for Mapping Smallholder Agriculture Field Boundaries Without Training Labels

Pratyush Tripathy, Kathy Baylis+3 more|arXiv (Cornell University)|Jul 1, 2024

Rural development and sustainabilityAgricultural and Biological Sciences被引用 3

一句话总结

本研究在印度比哈尔邦利用2米分辨率的SkySat卫星影像，无需任何微调或训练标签，评估了Segment Anything Model（SAM）在小农户农田边界制图中的表现。通过结合多个模型检查点、不同输入图像尺寸、多时相影像以及边缘增强输入，SAM实现了58%的农田边界检测准确率，展示了在数据匮乏地区强大的零样本潜力。

ABSTRACT

Accurate mapping of agricultural field boundaries is crucial for enhancing outcomes like precision agriculture, crop monitoring, and yield estimation. However, extracting these boundaries from satellite images is challenging, especially for smallholder farms and data-scarce environments. This study explores the Segment Anything Model (SAM) to delineate agricultural field boundaries in Bihar, India, using 2-meter resolution SkySat imagery without additional training. We evaluate SAM's performance across three model checkpoints, various input sizes, multi-date satellite images, and edge-enhanced imagery. Our results show that SAM correctly identifies about 58% of field boundaries, comparable to other approaches requiring extensive training data. Using different input image sizes improves accuracy, with the most significant improvement observed when using multi-date satellite images. This work establishes proof of concept for using SAM and maximizing its potential in agricultural field boundary mapping. Our work highlights SAM's potential in delineating agriculture field boundary in training-data scarce settings to enable a wide range of agriculture related analysis.

研究动机与目标

• 评估使用Segment Anything基础模型（SAM）在无任何标注训练数据的情况下检测小农户农田边界的可行性。
• 研究模型性能在不同SAM检查点、输入图像尺寸以及图像预处理技术（如边缘增强）下的变化情况。
• 评估在低资源环境下使用多时相卫星影像对小农户农田边界检测准确率的影响。
• 为零样本地理空间人工智能在农业中的应用建立概念验证，特别是在缺乏实地真值数据的地区。
• 通过提升AI驱动的农业制图工作流程中的透明度和可解释性，推动GeoXAI的发展。

提出的方法

• 使用预训练的Segment Anything Model（SAM），采用其默认视觉编码器和掩码解码器，进行零样本推理，未进行任何微调。
• 评估三个SAM模型检查点（如vit_h、vit_b、vit_l），比较不同架构变体之间的性能差异。
• 通过调整输入图像尺寸，测试分辨率对分割准确率的影响，分别使用较小和较大的图像尺寸。
• 结合来自不同日期以及经过边缘增强预处理的多张输入图像的预测结果，以提高检测的鲁棒性。
• 采用类似非极大值抑制的策略，合并重叠的预测结果，减少冗余。
• 使用交并比（IoU）在0.5阈值下与真实农田边界对比，评估结果，识别出正确检测到的农田。

实验结果

研究问题

• RQ1 在无任何微调或标注数据的情况下，Segment Anything Model（SAM）能否在低分辨率（2米）卫星影像中准确检测小农户农田边界？
• RQ2 在小农户农田制图背景下，SAM模型性能在不同检查点和输入图像尺寸下如何变化？
• RQ3 使用多时相卫星影像在多大程度上能提升SAM对农田边界的检测准确率？
• RQ4 对输入卫星影像进行边缘增强是否能提升SAM在数据匮乏环境中检测农田边界的性能？
• RQ5 组合不同模型、图像尺寸和时间点的预测结果等集成策略，对整体检测性能有何影响？

主要发现

• 在未使用任何训练数据的情况下，SAM在2米分辨率的SkySat影像上实现了平均58%的农田边界检测准确率，展现出强大的零样本能力。
• 结合不同SAM模型检查点的预测结果带来了适度的准确率提升，但增益不如使用多时相影像显著。
• 使用多时相卫星影像带来了最显著的准确率提升，凸显了时间多样性在分割任务中的价值。
• 输入图像尺寸对性能有明显影响，中等尺寸的输入图像表现优于过小或过大的图像。
• 边缘增强影像进一步提升了检测准确率，表明特征工程可增强基础模型在地理空间应用中的表现。
• 结合多时相影像、多样化输入尺寸和边缘增强输入，生成了最全面且准确的农田边界图层，成功检测到58%的真实农田边界。