[論文レビュー] Multi-Region Transfer Learning for Segmentation of Crop Field Boundaries in Satellite Images with Limited Labels

Hannah Kerner, Saketh Sundar+1 more|arXiv (Cornell University)|Mar 29, 2024

Remote Sensing in Agriculture被引用数 6

ひとこと要約

本論文は、ターゲット領域のラベルが乏しい場合に、衛星画像の作物畑境界を分割するための多領域転移学習アプローチを提案する。3段階の事前学習/微調整/評価パイプラインと、時空間 U-net および多時相入力を用いる。

ABSTRACT

The goal of field boundary delineation is to predict the polygonal boundaries and interiors of individual crop fields in overhead remotely sensed images (e.g., from satellites or drones). Automatic delineation of field boundaries is a necessary task for many real-world use cases in agriculture, such as estimating cultivated area in a region or predicting end-of-season yield in a field. Field boundary delineation can be framed as an instance segmentation problem, but presents unique research challenges compared to traditional computer vision datasets used for instance segmentation. The practical applicability of previous work is also limited by the assumption that a sufficiently-large labeled dataset is available where field boundary delineation models will be applied, which is not the reality for most regions (especially under-resourced regions such as Sub-Saharan Africa). We present an approach for segmentation of crop field boundaries in satellite images in regions lacking labeled data that uses multi-region transfer learning to adapt model weights for the target region. We show that our approach outperforms existing methods and that multi-region transfer learning substantially boosts performance for multiple model architectures. Our implementation and datasets are publicly available to enable use of the approach by end-users and serve as a benchmark for future work.

研究の動機と目的

• 農業における重要で実用的なセグメンテーション課題として畑境界を正確に delineate する意義を動機づける。
• 対象地域のラベル不足を、多領域のラベル付きデータを活用する転移学習で解決する。
• 対象地域とセンサーを跨ぐ柔軟なアーキテクチャを開発・評価し、境界および内部の区画を改善する。

提案手法

• 時空間 U-net (ST-U-net) アーキテクチャを ResNet ボバックボーンとして採用し、境界マスクと内部マスクを予測する。
• 多領域転移学習を用いる：region Dp の大規模ラベル付きデータで事前学習を行い、region-f の小規模データで微調整を行い、ターゲット region Dt で評価する。微調整領域は Dp と Dt の橋渡しとなる。
• 多時相入力（三つの季節コンポジット）を取り入れ、畑の時間的変化を捉える。単一時入力の U-net と比較。
• Sentinel-2 と PlanetScope のデータセットで 224x224 の画像タイルへ前処理し、各領域につき三つの季節コンポジットを用いる。
• 境界（border）と内部マスクの両方を評価し、指標としてピクセル単位の F1、精度、平均 IoU、IoU >= 0.95 のときの精度を用いる。

Figure 1: Comparison between instance segmentation of crop fields in satellite remote sensing images (top) and example image from COCO dataset (bottom). In the top row, $t_{0}$ , $t_{1}$ , and $t_{n}$ represent satellite images acquired at different dates during the year. Top image shows field bound

実験結果

リサーチクエスチョン

• RQ1 多領域転移学習は、ラベルデータが限られた地域で畑境界のセグメンテーションを改善できるか？
• RQ2 三つの季節コンポジットといった多時相入力は、境界および内部の区画区分において単一時入力を上回るか？
• RQ3 クロス領域・クロスセンサー転移（例: Sentinel-2 から PlanetScope）は、異なる地域での性能にどう影響するか？
• RQ4 ブリッジング領域を用いた微調整がターゲット領域の性能に与える影響は？
• RQ5 提案手法は、 diverse regions（フランス、南アフリカ、ケニア）およびラベル利用可能性のシナリオに対してロバストか？

主な発見

• ST-U-net は、同じバックボーンを用いた U-net を、指標と領域を跨いで一貫して上回る。
• 三つの時系列入力を用いると、単一時入力より性能が顕著に向上。
• より深いバックボーン（ResNet-50、ResNet-101）は性能が高いが、学習時間が増える。
• ブリッジング領域データを用いた微調整（例: France S2 から South Africa PS）は、ケニアおよび他のテストセットで境界および内部の指標を大幅に改善。
• クロス領域転移（ある地域で事前学習、別の地域で微調整、別の地域でテスト）は、微調整なしのベースラインより顕著な利 gains。
• 教師なしベースライン（Canny + ウォータシェド）は、学習モデルよりも劣る。

Figure 2: Illustration of multi-region transfer learning approach. Model architecture adapted from (Aung et al. 2020 ) .