[論文レビュー] A Sentinel-2 multi-year, multi-country benchmark dataset for crop classification and segmentation with deep learning

Dimitrios Sykas, Maria Sdraka+2 more|arXiv (Cornell University)|Apr 2, 2022

Smart Agriculture and AI被引用数 5

ひとこと要約

本稿では、2016–2020年のスペインおよびフランスの統合LPIS農家届出データを用いて構築された、大規模かつ多年にわたる複数国にまたがるSentinel-2ベンチマークデータセット、Sen4AgriNetを紹介する。このデータセットは、ピクセルレベルのセグメンテーションを目的としたPADと、パラセルレベルの分類を目的としたOADという2つのサブデータセットを備えており、空間的・時間的変動性に起因する顕著な性能低下を示しており、ドメイン適応技術の必要性を浮き彫りにしている。

ABSTRACT

In this work we introduce Sen4AgriNet, a Sentinel-2 based time series multi country benchmark dataset, tailored for agricultural monitoring applications with Machine and Deep Learning. Sen4AgriNet dataset is annotated from farmer declarations collected via the Land Parcel Identification System (LPIS) for harmonizing country wide labels. These declarations have only recently been made available as open data, allowing for the first time the labeling of satellite imagery from ground truth data. We proceed to propose and standardise a new crop type taxonomy across Europe that address Common Agriculture Policy (CAP) needs, based on the Food and Agriculture Organization (FAO) Indicative Crop Classification scheme. Sen4AgriNet is the only multi-country, multi-year dataset that includes all spectral information. It is constructed to cover the period 2016-2020 for Catalonia and France, while it can be extended to include additional countries. Currently, it contains 42.5 million parcels, which makes it significantly larger than other available archives. We extract two sub-datasets to highlight its value for diverse Deep Learning applications; the Object Aggregated Dataset (OAD) and the Patches Assembled Dataset (PAD). OAD capitalizes zonal statistics of each parcel, thus creating a powerful label-to-features instance for classification algorithms. On the other hand, PAD structure generalizes the classification problem to parcel extraction and semantic segmentation and labeling. The PAD and OAD are examined under three different scenarios to showcase and model the effects of spatial and temporal variability across different years and different countries.

研究の動機と目的

• 地球観測を用いた農業モニタリングの分野において、統合的で大規模かつ多年にわたる時系列的・国境を越えたラベル付きデータの不足に対処すること。
• FAOおよびCAP要件に基づき、ヨーロッパ全域で統一された作物タイプ分類体系を標準化し、ディープラーニングモデルの国境を越えた一般化を可能にすること。
• オープンなLPISデータとSentinel-2画像を用いて、空間的・時間的・スペクトル的整合性を確保したベンチマークデータセットを構築すること。
• PADおよびOADという2つのモジュラーなサブデータセットを通じて、セマンティック、インスタンス、パンタピックセグメンテーションを含む多様なディープラーニング応用を可能にすること。
• 地理的・時間的ドメイン間でのモデル一般化を評価し、トランスファー学習における課題とドメイン適応の必要性を特定すること。

提案手法

• 2016–2020年の共登録済みSentinel-2時系列データと、カタロニアおよびフランスのオープンLPISパラセルデータを用いてSen4AgriNetを構築すること。
• FAO ICCに基づき、CAPおよびリモートセンシング要件に適合するように調整した168ラベルの統合作物分類体系を開発すること。
• 各パラセルのオリジナルのSentinel-2スペクトルバンドを時系列として保持することで、パッチ集約データセット（PAD）を構築すること。
• 全スペクトルバンドにわたりパラセルごとにゾーン統計（平均、標準偏差、最小値、最大値）を計算することで、オブジェクト集約データセット（OAD）を構築すること。
• 地理的・時間的ドメインシフトを模擬するため、3つの異なるトレーニングおよびテストシナリオを設計し、モデル一般化を評価すること。
• PADおよびOADに対して、U-Net、ConvLSTM、ConvSTAR、LSTM、Transformerエンコーダ、TempCNNといったディープラーニングモデルを適用し、分類およびセグメンテーションタスクを実行すること。

実験結果

リサーチクエスチョン

• RQ1 作物分類およびセグメンテーションタスクにおいて、異なる地理的地域および年次に跨るモデルの性能は、どのように低下するか？
• RQ2 作物生育期間およびスペクトルシグネチャの空間的・時間的変動性は、ディープラーニングモデルの一般化にどの程度影響を及えるか？
• RQ3 ドメイン適応技術は、トレーニングドメインとテストドメイン間の分布シフトによって引き起こされる性能低下を効果的に緩和できるか？
• RQ4 ラベルおよび環境条件が異なる国間で、1つの国でトレーニングされたモデルは、他の国にどの程度一般化できるか？
• RQ5 U-Net やトランスフォーマー、LSTM などの異なるディープラーニングアーキテクチャは、PADおよびOADサブデータセットにおいて、作物セグメンテーションおよび分類タスクでどの程度の効果を発揮するか？

主な発見

• Sen4AgriNetには4250万件のパラセルと22万5000のSentinel-2パッチが含まれており、農業モニタリング分野における最大規模の複数国・多年・多スペクトルベンチマークデータセットである。
• 地域および年次を跨いでモデルを移行する際、顕著な性能低下が見られ、直接的な知識移行では顕著に低い正答率と一般化性能が得られる。
• OADサブデータセットは、トランスフォーマーおよびLSTMなどのモデルを用いることで、パラセルレベル分類において高い精度を達成でき、既知のパラセル形状に対して優れた性能を示す。
• PADサブデータセットは、U-Net や ConvLSTM モデルを用いてセマンティックセグメンテーションを可能にし、多様な生育期間および気候条件においても頑健な結果を得られる。
• 本データセットは、ラベルの分布シフトと空間的・時間的変動性が、モデル一般化の主な障壁であることを明らかにし、ドメイン適応戦略の必要性を示している。
• 168のラベル（非作物の「ストゥフ」クラスおよび正確なパラセル境界を含む）を含むことにより、Sen4AgriNetはインスタンスセグメンテーションおよびパンタピックセグメンテーションを含む高度なセグメンテーションタスクを支援できる。