[論文レビュー] BigEarthNet v2

Kai Norman Clasen, Leonard Hackel+4 more|arXiv (Cornell University)|Jul 4, 2024

Remote-Sensing Image Classification被引用数 5

ひとこと要約

reBENは Sentinel-1/2 に基づく洗練された多モーダルリモートセンシングデータセットで、ピクセルレベルおよびシーンレベルのラベル、補正された大気処理、および空間漏洩を減らす地理ベースのデータ分割を特徴とします。

ABSTRACT

BigEarthNet v2.0 The BigEarthNet v2.0 dataset was constructed by the Remote Sensing Image Analysis (RSiM) Group and the Database Systems and Information Management (DIMA) Group at the Technische Universität Berlin (TU Berlin). This work is supported by the European Research Council under the ERC Starting Grant BigEarth and by the Berlin Institute for the Foundations of Learning and Data (BIFOLD). BigEarthNet v2.0 is a benchmark dataset consisting of 549,488 pairs of Sentinel-1 and Sentinel-2 image patches. To construct BigEarthNet v2.0 with Sentinel-2 image patches (called as BigEarthNet-S2), 115 Sentinel-2 tiles acquired between June 2017 and May 2018 over 10 countries (Austria, Belgium, Finland, Ireland, Kosovo, Lithuania, Luxembourg, Portugal, Serbia, and Switzerland) of Europe were initially selected. All the tiles were atmospherically corrected by the Sentinel-2 Level 2A product generation and formatting tool (sen2cor v2.11). Then, they were divided into 549,488 image patches. Each image patch was associated with a pixel-level reference map and multiple land-cover class labels (i.e., multi-labels) that were derived from the most recent CORINE Land Cover database of the year 2018 (CLC2018 v2020_u1). To construct BigEarthNet v2.0 with Sentinel-1 image patches (called as BigEarthNet-S1), 312 Sentinel-1 scenes acquired between June 2017 and May 2018 that jointly cover the area of all original 115 Sentinel-2 tiles with close temporal proximity were selected and processed. BigEarthNet-S1 consists of 549,488 preprocessed Sentinel-1 image patches – one for each Sentinel-2 patch. The BigEarthNet v2.0 dataset includes several significant improvements compared to the previous 1.0 version. These changes include the application of the latest atmospheric correction tool (sen2cor), which results in higher-quality patches. Additionally, the most recent version of the CLC2018 database was utilized to extract label information, overcoming label noise present in BigEarthNet v1.0. Apart from providing patch-level labels, v2.0 additionally includes pixel-level reference maps, making the dataset suitable for pixel- and scene-based learning tasks. Furthermore, BigEarthNet v2.0 introduces a new geographical-based split assignment algorithm, which significantly reduces spatial correlation among the train, validation, and test sets compared to v1.0. If you use this work, please cite: K. Clasen, L. Hackel, T. Burgert, G. Sumbul, B. Demir, V. Markl, “reBEN: Refined BigEarthNet Dataset for Remote Sensing Image Analysis”, IEEE International Geoscience and Remote Sensing Symposium (IGARSS), 2025.

研究の動機と目的

• BigEarthNet におけるラベルノイズと大気補正の更新に対処するため、最新の CORINE Land Cover map (CLC2018) から派生した洗練されたラベルを導入します。
• ピクセルレベルの参照マップを提供し、ピクセルベースおよびシーンベースの学習タスクを可能にします。
• 地理ベースの分割割り当てアルゴリズムを用いて訓練/検証/テストの分割間の空間的相関を緩和します。
• 効率的な DL 学習のためのソフトウェアツール（rico-hdl）を提供し、最先端アーキテクチャ向けの事前学習済みモデルを提供します。

提案手法

• 最新の sen2cor (v2.11) を用いて 125 個の Sentinel-2 L1C タイルから 1200m x 1200m パッチを作成し、Sentinel-2 level-2A データを取得します。
• 最新の CLC2018 マップとパッチを重ね合わせ、ピクセルレベルの参照マップと 19 クラス LULC ラベルを導出します。
• 空間的相関を低減する地理ベースの分割割り当てアルゴリズムを導入し、訓練/検証/テストを分離します。
• 高速読み込みを実現する DL 最適化データフォーマット変換ツール（rico-hdl）を提供し、LMDB に safetensors を用いてデータを保存します。
• S1 と S2 データを用いたマルチモーダル RS 学習を可能にする事前学習済みモデルの重みとトレーニングスクリプトを公開します。

(a) BigEarthNet: Marine waters (M), Urban fabric (W) reBEN: Marine waters (C)

実験結果

リサーチクエスチョン

• RQ1 最新の大気補正 (sen2cor 2.11) を使用することで、BigEarthNet のベースラインと比較してラベル品質と DL パフォーマンスがどれだけ向上しますか？
• RQ2 CORINE ベースのピクセルレベルのラベリングはラベルノイズを削減し、ピクセルおよびシーンレベルの学習タスクを改善しますか？
• RQ3 地理ベースの分割は訓練/検証/テスト間の空間的リークを減らすことで DLモデル評価の信頼性を向上させますか？
• RQ4 マルチモーダル（S1とS2）データ融合がマルチラベル RS 画像分類性能に与える影響は？
• RQ5 reBEN の DL 実験を加速させる効率的なツールと事前学習済みモデルはありますか？

主な発見

• sen2cor 2.11 大気補正と品質チェックに合格しなかったタイルの除外により、reBEN はより高品質なパッチを達成します。
• 最新の CLC2018 マップから導出されたピクセルレベルの参照マップは、BigEarthNet に存在するラベルノイズに対処します。
• 地理ベースの分割は、BigEarthNet のグリッドベース分割と比べて分割間の空間的相関を減らし、評価の信頼性を向上させます。
• Sentinel-1 と Sentinel-2 の共同利用は、単独のモダリティよりも一般にモデル間で高い性能を示します。
• 評価対象モデルの中で、ResNet 系列とマルチモーダル（S1+S2）構成がしばしば reBEN で最高の AP および F1 スコアを達成します。

(b) BigEarthNet: Pastures (C), Urban fabric (M) reBEN: Pastures (C), Urban fabric (C)