[論文レビュー] EuroSAT: A Novel Dataset and Deep Learning Benchmark for Land Use and Land Cover Classification

Patrick Helber, Benjamin Bischke+2 more|arXiv (Cornell University)|Aug 31, 2017

Remote-Sensing Image Classification被引用数 62

ひとこと要約

EuroSATデータセットを紹介し、10クラスにまたがる27,000の地理参照済みSentinel-2画像パッチを含み、RGBデータで最大98.57%の精度を達成するCNNをベンチマークする。

ABSTRACT

In this paper, we address the challenge of land use and land cover classification using Sentinel-2 satellite images. The Sentinel-2 satellite images are openly and freely accessible provided in the Earth observation program Copernicus. We present a novel dataset based on Sentinel-2 satellite images covering 13 spectral bands and consisting out of 10 classes with in total 27,000 labeled and geo-referenced images. We provide benchmarks for this novel dataset with its spectral bands using state-of-the-art deep Convolutional Neural Network (CNNs). With the proposed novel dataset, we achieved an overall classification accuracy of 98.57%. The resulting classification system opens a gate towards a number of Earth observation applications. We demonstrate how this classification system can be used for detecting land use and land cover changes and how it can assist in improving geographical maps. The geo-referenced dataset EuroSAT is made publicly available at https://github.com/phelber/eurosat.

研究の動機と目的

• Sentinel-2画像に基づく大規模で自由に利用可能な土地利用/土地被覆データセットを導入する。
• ディープラーニングモデルのためのマルチスペクトルベンチマーク（13バンド）を提供する。
• 最も有益なスペクトル情報を特定するために、バンド固有およびバンド結合入力を評価する。
• 土地変化検出と地図更新のベースライン適用性を示す。
• 地理参照付きバージョンを公開して、EOデータに関する幅広い機械学習研究を可能にする。

提案手法

• Sentinel-2Aデータから34の欧州諸国にまたがる27,000のラベル付きの地理参照付き64x64パッチを組み立てる。
• ベンチマーク用にEuroSATのRGBおよびマルチスペクトル（13バンド）バージョンを提供する。
• ImageNet (ILSVRC-2012)で事前学習済みのCNNアーキテクチャ（GoogLeNetとResNet-50）を微調整して土地利用/土地被覆分類を行い、比較する。
• RGB、CI（カラー赤外）、SWIRを含む単一バンド対結合バンド入力を評価する。
• クラス別の混同行列を分析し、最も有益なスペクトルバンドを決定するためのバンド重要度評価を提供する。

実験結果

リサーチクエスチョン

• RQ1 RGBとマルチスペクトル入力を用いた場合、最新のCNNはEuroSATデータセットでどの程度の分類精度を達成できるか？
• RQ2 13種のSentinel-2スペクトルバンドは個別および組み合わせで土地利用/土地被覆分類に対してどのように性能を発揮するか？
• RQ3 Scratchで訓練する場合と比較して、ImageNetでの事前学習がEuroSATのファインチューニングに有益か？
• RQ4 このデータセットは土地利用/土地被覆の変化検出と地図更新のアプリケーションをサポートできるか？

主な発見

手法	UCM	AID	SAT-6	BCS	EuroSAT
ResNet-50	96.42	94.38	99.56	93.57	98.57
GoogLeNet	97.32	93.99	98.29	92.70	98.18

• CNNベンチマーク（ResNet-50とGoogLeNet）はEuroSATで最先端の性能を達成し、ResNet-50はRGB入力で98.57%の精度を達成（80/20分割）。”
• RGBバンド結合は単一バンドおよび他のバンド結合より優れており、ResNet-50を用いた場合RGBで98.57%、CIで98.30%、SWIRで97.05%を達成。
• 単一バンドの実験ではRGBが一般に優れているが、Red Edge 1 (B05) や SWIR 2 (B12) などのバンドは10 mにアップサンプルすると強い結果を示すことがある。
• CNNはBag-of-Visual-Wordsベースラインや浅いネットワークを上回り、事前学習済みネットワークはEuroSATで約2%の精度向上を提供する。
• パッチレベルの分類を時系列の画像のスライディングウィンドウ分析に適用することで、変化検出と地図作成の支援を可能にする。