[论文解读] Multi-Region Transfer Learning for Segmentation of Crop Field Boundaries in Satellite Images with Limited Labels

Hannah Kerner, Saketh Sundar+1 more|arXiv (Cornell University)|Mar 29, 2024

Remote Sensing in Agriculture被引用 6

一句话总结

本论文在 target-region 标签稀缺的情况下，提出一种多区域迁移学习方法来在卫星图像中分割作物田地边界，使用 Spatio-Temporal U-net 与多时相输入，配合三阶段 pre-train/fine-tune/evaluate pipeline。

ABSTRACT

The goal of field boundary delineation is to predict the polygonal boundaries and interiors of individual crop fields in overhead remotely sensed images (e.g., from satellites or drones). Automatic delineation of field boundaries is a necessary task for many real-world use cases in agriculture, such as estimating cultivated area in a region or predicting end-of-season yield in a field. Field boundary delineation can be framed as an instance segmentation problem, but presents unique research challenges compared to traditional computer vision datasets used for instance segmentation. The practical applicability of previous work is also limited by the assumption that a sufficiently-large labeled dataset is available where field boundary delineation models will be applied, which is not the reality for most regions (especially under-resourced regions such as Sub-Saharan Africa). We present an approach for segmentation of crop field boundaries in satellite images in regions lacking labeled data that uses multi-region transfer learning to adapt model weights for the target region. We show that our approach outperforms existing methods and that multi-region transfer learning substantially boosts performance for multiple model architectures. Our implementation and datasets are publicly available to enable use of the approach by end-users and serve as a benchmark for future work.

研究动机与目标

• 将田界 delineation 视为农业中重要且实用的分割任务（产量、面积估算、调查）。
• 通过多区域迁移学习，利用其他区域的带标签数据来缓解目标区域的标签稀缺。
• 开发并评估一个灵活的架构，能够跨区域和传感器工作，以改进边界与内部区域的分割。

提出的方法

• 采用 Spatio-Temporal U-net (ST-U-net) 架构，采用 ResNet 主干来预测边界和内部掩模。
• 使用多区域迁移学习：在区域 Dp 的大规模带标签数据上进行预训练，在较小的区域 f 上微调，并在目标区域 Dt 上评估，微调区域充当 Dp 与 Dt 之间的桥梁。
• 结合多时相输入（三个季节性合成）以捕捉田地的时序演变，与单时相输入的 U-net 进行比较。
• 将数据处理为 224x224 的图像块，覆盖 Sentinel-2 与 PlanetScope 数据集，每个区域含有三个季节合成。
• 评估边界与内部掩模，使用像素级 F1、准确率、平均 IoU，以及 IoU >= 0.95 的精确度等指标。

Figure 1: Comparison between instance segmentation of crop fields in satellite remote sensing images (top) and example image from COCO dataset (bottom). In the top row, $t_{0}$ , $t_{1}$ , and $t_{n}$ represent satellite images acquired at different dates during the year. Top image shows field bound

实验结果

研究问题

• RQ1 多区域迁移学习是否能在带标签数据有限的区域提升田地边界分割？
• RQ2 多时相输入（三个季节合成）是否优于单时相输入在边界与内部 delineation？
• RQ3 跨区域与跨传感器迁移（例如从 Sentinel-2 到 PlanetScope）如何影响在不同区域的表现？
• RQ4 用桥接区域进行微调对目标区域的表现有何影响？
• RQ5 所提出的方法在不同区域（法国、南非、肯尼亚）及不同标签可用性情境下的鲁棒性如何？

主要发现

• ST-U-net 在相同 backbone 下在各指标和区域上始终优于 U-net。
• 使用三维时序输入显著提升相较于单一时间输入的性能。
• 更深的骨干网络（ResNet-50、ResNet-101）带来更高的性能，但需要更长的训练时间。
• 以桥接区域数据进行微调（例如 France S2 到 South Africa PS）在肯尼亚及其他测试集中显著提升边界和内部指标。
• 跨区域迁移（在一个区域进行预训练，在另一个区域微调，在第三个区域进行测试）相较于无微调基线显示显著收益。
• 无监督基线（Canny + watershed） 的表现不如学习模型。

Figure 2: Illustration of multi-region transfer learning approach. Model architecture adapted from (Aung et al. 2020 ) .