[論文レビュー] Segmentation of Satellite Imagery using U-Net Models for Land Cover Classification

Priit Ulmas, Innar Liiv|arXiv (Cornell University)|Mar 5, 2020

Remote-Sensing Image Classification参考文献 19被引用数 59

ひとこと要約

本研究は ResNet50 ベースの土地被覆分類器を Big Earth Net で学習させ、その重みを修正 U-Net の事前学習エンコーダとして用い Sentinel-2 イメージからピクセルレベルの土地被覆マップを生成し、CORINE レベル全体で強い F1 とセグメンテーション精度を達成する。

ABSTRACT

The focus of this paper is using a convolutional machine learning model with a modified U-Net structure for creating land cover classification mapping based on satellite imagery. The aim of the research is to train and test convolutional models for automatic land cover mapping and to assess their usability in increasing land cover mapping accuracy and change detection. To solve these tasks, authors prepared a dataset and trained machine learning models for land cover classification and semantic segmentation from satellite images. The results were analysed on three different land classification levels. BigEarthNet satellite image archive was selected for the research as one of two main datasets. This novel and recent dataset was published in 2019 and includes Sentinel-2 satellite photos from 10 European countries made in 2017 and 2018. As a second dataset the authors composed an original set containing a Sentinel-2 image and a CORINE land cover map of Estonia. The developed classification model shows a high overall F extsubscript{1} score of 0.749 on multiclass land cover classification with 43 possible image labels. The model also highlights noisy data in the BigEarthNet dataset, where images seem to have incorrect labels. The segmentation models offer a solution for generating automatic land cover mappings based on Sentinel-2 satellite images and show a high IoU score for land cover classes such as forests, inland waters and arable land. The models show a capability of increasing the accuracy of existing land classification maps and in land cover change detection.

研究の動機と目的

• 衛星画像からの自動化されたピクセルレベルの土地被覆マッピングを動機づけ、環境モニタリングと変化検出を支援する。
• BigEarthNet を用いて衛星画像特徴を学習する大規模分類モデルを作成する。
• 分類モデルを修正 U-Net のエンコーダとして転移学習を活用し、セグメンテーションを行う。
• CORINE ベースのデータセットでセグメーション性能を評価し、データノイズの影響を分析する。

提案手法

• BigEarthNet データで ImageNet 事前学習済みの ResNet50 を用いて三段階の土地被覆分類レベルを行う。
• 2 段階で分類モデルを学習（freeze／unfreeze）合計 15 エポック。
• エンコーダを事前学習済みの ResNet50 分类器とする修正 U-Net を採用し、CORINE+Sentinel-2 の小規模なセグメンテーションデータセットで学習する。
• データセットを80/20の訓練/検証に分割; まずデコーダを訓練してから全ネットワークを微調整してセグメンテーションを学習する。
• 分類は Exact Match Ratio、Precision、Recall、F1、セグメンテーションは全体精度と Jaccard で評価。

実験結果

リサーチクエスチョン

• RQ1 BigEarthNet で訓練された大規模衛星画像分類器は、CORINE 派生データセットでピクセルレベルの土地被覆セグメンテーションへ効果的に転移できるか？
• RQ2 U-Net アーキテクチャで事前学習済みエンコーダを使用した場合、CORINE の分類レベル（レベル 1–3）ごとのセグメンテーション性能はどう変化するか？
• RQ3 データノイズとラベル精度（BigEarthNet と CORINE）が分類・セグメンテーション結果に与える影響はどの程度か？

主な発見

• 分類は全体的な F1 が高い：レベル 1 F1 = 0.920、レベル 2 F1 = 0.823、レベル 3 F1 = 0.749。
• Exact match ratios はレベルの複雑さとともに低下：レベル 1 MR = 75.3%、レベル 2 MR = 45.9%、レベル 3 MR = 33.1%。
• セグメンテーション精度はレベル 1 で高く (91.4%)、レベル 2 で 75.8%、レベル 3 で 59.7% に低下。
• クラス別の結果は森林、農業地域、水域で最も強く、湿地と高レベルの工業地域で弱い。
• BigEarthNet と CORINE データのラベルノイズがセグメンテーション/分類エラーに寄与する分析。クラス間の視覚的識別も性能に影響。