[论文解读] A Sentinel-2 multi-year, multi-country benchmark dataset for crop classification and segmentation with deep learning

Dimitrios Sykas, Maria Sdraka+2 more|arXiv (Cornell University)|Apr 2, 2022

Smart Agriculture and AI被引用 5

一句话总结

本论文提出了Sen4AgriNet，一个大规模、多时相、跨国的Sentinel-2基准数据集，用于作物分类与分割，其构建基于西班牙和法国2016至2020年期间统一的LPIS农户申报数据。该数据集通过两个子数据集——PAD（用于像素级分割）和OAD（用于地块级分类）——支持深度学习应用，揭示了由于时空变异导致的显著性能下降，凸显了领域自适应技术的必要性。

ABSTRACT

In this work we introduce Sen4AgriNet, a Sentinel-2 based time series multi country benchmark dataset, tailored for agricultural monitoring applications with Machine and Deep Learning. Sen4AgriNet dataset is annotated from farmer declarations collected via the Land Parcel Identification System (LPIS) for harmonizing country wide labels. These declarations have only recently been made available as open data, allowing for the first time the labeling of satellite imagery from ground truth data. We proceed to propose and standardise a new crop type taxonomy across Europe that address Common Agriculture Policy (CAP) needs, based on the Food and Agriculture Organization (FAO) Indicative Crop Classification scheme. Sen4AgriNet is the only multi-country, multi-year dataset that includes all spectral information. It is constructed to cover the period 2016-2020 for Catalonia and France, while it can be extended to include additional countries. Currently, it contains 42.5 million parcels, which makes it significantly larger than other available archives. We extract two sub-datasets to highlight its value for diverse Deep Learning applications; the Object Aggregated Dataset (OAD) and the Patches Assembled Dataset (PAD). OAD capitalizes zonal statistics of each parcel, thus creating a powerful label-to-features instance for classification algorithms. On the other hand, PAD structure generalizes the classification problem to parcel extraction and semantic segmentation and labeling. The PAD and OAD are examined under three different scenarios to showcase and model the effects of spatial and temporal variability across different years and different countries.

研究动机与目标

• 为解决利用地球观测技术进行农业监测时，缺乏统一、大规模、多时相、多国标注数据的问题。
• 基于FAO和CAP要求，统一欧洲作物类型分类体系，实现深度学习模型在跨国范围内的泛化能力。
• 利用开放的LPIS数据与Sentinel-2影像构建基准数据集，确保空间、时间与光谱的一致性。
• 通过两个模块化子数据集PAD与OAD，支持语义分割、实例分割与全景分割等多种深度学习应用。
• 评估模型在地理与时间域之间的泛化能力，识别迁移学习中的挑战，并强调领域自适应的必要性。

提出的方法

• 利用2016至2020年期间配准的Sentinel-2时序影像与西班牙加泰罗尼亚及法国的开放LPIS地块数据，构建Sen4AgriNet。
• 开发包含168个类别的统一作物分类体系，基于FAO ICC分类并适配CAP要求与遥感应用需求。
• 通过保留每个地块原始Sentinel-2光谱波段的时序数据，构建拼接块数据集（PAD）。
• 通过计算每个地块在所有光谱波段上的区域统计量（均值、标准差、最小值、最大值），构建对象聚合数据集（OAD）。
• 设计三种不同的训练与测试场景，以评估模型在不同国家与年份之间的泛化能力，模拟真实世界中的领域偏移。
• 在PAD与OAD上应用多种深度学习模型（包括U-Net、ConvLSTM、ConvSTAR、LSTM、Transformer-encoder与TempCNN），执行分类与分割任务。

实验结果

研究问题

• RQ1 在作物分类与分割任务中，当模型在不同地理区域与年份之间迁移时，其性能如何退化？
• RQ2 作物物候与光谱特征的时空变异在多大程度上影响深度学习模型的泛化能力？
• RQ3 领域自适应技术是否能有效缓解因训练域与测试域分布差异导致的性能下降？
• RQ4 当标签与环境条件不同时，于一国训练的模型在另一国的泛化能力如何？
• RQ5 在PAD与OAD子数据集上，不同深度学习架构（如U-Net、Transformer、LSTM）在作物分割与分类任务中的相对有效性如何？

主要发现

• Sen4AgriNet包含4250万个地块与22.5万个Sentinel-2图像块，是目前最大规模的多国、多年、多光谱农业监测基准数据集。
• 在跨区域与跨年份迁移时，模型性能显著下降，直接知识迁移导致准确率大幅降低且泛化能力差。
• OAD子数据集支持使用Transformer与LSTM等模型实现高精度的地块级分类，尤其在已知地块几何形状下表现优异。
• PAD子数据集支持使用U-Net与ConvLSTM模型进行语义分割，在多样的物候与气候条件下均取得稳健结果。
• 该数据集表明，标签分布偏移与时空变异是模型泛化的主要障碍，亟需采用领域自适应策略。
• 由于包含168个类别（包括非作物的'stuff'类与精确的地块边界），Sen4AgriNet支持高级分割任务，如实例分割与全景分割。