[論文レビュー] BigEarthNet Dataset with A New Class-Nomenclature for Remote Sensing Image Understanding

Gencer Sumbül, Jian Kang+6 more|arXiv (Cornell University)|Jan 17, 2020

Remote-Sensing Image Classification参考文献 23被引用数 16

ひとこと要約

本論文は、リモートセンシング分野におけるディープラーニング（DL）の性能を向上させるために、CORINE Land Cover Level-3 クラスに基づいて新たに考案された19クラスの分類体系を備えた大規模なSentinel-2マルチスペクトル画像データセット、BigEarthNetを紹介する。Sentinel-2のスペクトルおよび空間的特性に基づいて意味的ラベルを再編成することで、BigEarthNet上でスクラッチから訓練されたモデルは、ImageNetで事前学習されたモデルを上回り、特に農業や自然植生といった複雑なクラスにおいて顕著な性能向上を示す。

ABSTRACT

This paper presents BigEarthNet that is a large-scale Sentinel-2 multispectral image dataset with a new class nomenclature to advance deep learning (DL) studies in remote sensing (RS). BigEarthNet is made up of 590,326 image patches annotated with multi-labels provided by the CORINE Land Cover (CLC) map of 2018 based on its most thematic detailed Level-3 class nomenclature. Initial research demonstrates that some CLC classes are challenging to be accurately described by considering only Sentinel-2 images. To increase the effectiveness of BigEarthNet, in this paper we introduce an alternative class-nomenclature to allow DL models for better learning and describing the complex spatial and spectral information content of the Sentinel-2 images. This is achieved by interpreting and arranging the CLC Level-3 nomenclature based on the properties of Sentinel-2 images in a new nomenclature of 19 classes. Then, the new class-nomenclature of BigEarthNet is used within state-of-the-art DL models in the context of multi-label classification. Results show that the models trained from scratch on BigEarthNet outperform those pre-trained on ImageNet, especially in relation to some complex classes including agriculture, other vegetated and natural environments. All DL models are made publicly available at http://bigearth.net/#downloads, offering an important resource to guide future progress on RS image analysis.

研究の動機と目的

• 既存のリモートセンシングデータセットにおけるCORINE Land Coverのテーマ的クラスと、Sentinel-2画像のスペクトル的・空間的特徴との不整合を解消する。
• Sentinel-2マルチスペクトル画像の特性に適合した、新たなクラス分類体系を構築し、意味的整合性とモデル学習の質を向上させる。
• 新規データセット上でスクラッチから訓練した最先端のディープラーニングモデルが、マルチラベルリモートセンシング画像分類において、より優れた性能を発揮することを可能にする。
• 研究の促進を目的として、標準化され、解釈可能なラベルを備えた、公開可能な大規模ベンチマークデータセットを提供する。

提案手法

• 欧州全域のSentinel-2マルチスペクトル画像から、590,326個の画像パッチを抽出した。
• Sentinel-2のスペクトル的・空間的解釈可能性を考慮し、CORINE Land Cover Level-3 クラスを、簡素化された19クラスの新分類体系にマッピングした。
• 2018年版CORINE Land Coverマップに基づくマルチラベルアノテーションを用いて、各画像パッチに意味的ラベルを付与した。
• 意味的に類似したクラスとスペクトル的に一貫性のあるクラスをグループ化することで、モデルの一般化性能を向上させる分類体系を設計した。
• 新規19クラスラベル体系を用いて、BigEarthNet上で最先端のディープラーニングモデルをスクラッチから訓練した。
• マルチラベル分類におけるモデル性能を評価し、ImageNetで事前学習されたモデルと比較した。

実験結果

リサーチクエスチョン

• RQ1 Sentinel-2画像の特性に基づいて再構築されたクラス分類体系は、リモートセンシング画像分類におけるディープラーニング性能を向上させることができるか？
• RQ2 BigEarthNet上でスクラッチから訓練したディープラーニングモデルは、複雑な土地被覆クラスにおいて、ImageNetで事前学習されたモデルを微調整する手法と比較して、どのように性能を発揮するか？
• RQ3 新規19クラス分類体系は、農業や自然植生といった困難なクラスを区別する能力をどの程度向上させるか？
• RQ4 提案されたデータセットおよびラベル体系は、Sentinel-2画像における複雑な空間的・スペクトル的パターンのより正確で解釈可能な表現を可能にするか？

主な発見

• 新規19クラス分類体系を用いてスクラッチからBigEarthNetで訓練したモデルは、マルチラベルリモートセンシング画像分類において、ImageNetで事前学習されたモデルを上回る性能を示した。
• 特に、農業、その他の植生地帯、自然環境といった複雑で視覚的に類似したクラスにおいて、性能向上が顕著に見られた。
• 新規クラス分類体系により、CORINE Level-3 クラスをSentinel-2画像のスペクトル的・空間的特性に適合させることで、意味的整合性と解釈可能性が向上した。
• データセットの設計により、標準的な分類体系では難しいとされる土地被覆タイプの微細な差異を区別する能力が向上し、一般化性能が向上した。
• BigEarthNetで訓練されたすべてのディープラーニングモデルは公開されており、再現性の確保とリモートセンシング分野におけるさらなる研究を促進する。