[論文レビュー] SeasoNet: A Seasonal Scene Classification, segmentation and Retrieval dataset for satellite Imagery over Germany

Dominik Koßmann, Viktor Brack+1 more|arXiv (Cornell University)|Jul 19, 2022

Remote-Sensing Image Classification被引用数 5

ひとこと要約

SeasoNet は、ドイツの LBM-DE2018 モデルに基づき、5 ヘクタールの最小マッピング単位で高分解能のピクセル単位の土地被覆ラベルが付与された、176万枚の Sentinel-2 イメージパッチを含む大規模なマルチスペクトルリモートセンシングデータセットを提供する。このデータセットは、4 つの季節と雪の状態をカバーしており、高度なシーン分類、セマンティックセグメンテーション、クロスシーズン画像検索を可能にする。ベースライン結果では、DenseNet121 および DeepLabV3 を用いた強力な性能が示されたが、小規模な物体検出は依然として課題である。

ABSTRACT

This work presents SeasoNet, a new large-scale multi-label land cover and land use scene understanding dataset. It includes $1\,759\,830$ images from Sentinel-2 tiles, with 12 spectral bands and patch sizes of up to $ 120 \ \mathrm{px} imes 120 \ \mathrm{px}$. Each image is annotated with large scale pixel level labels from the German land cover model LBM-DE2018 with land cover classes based on the CORINE Land Cover database (CLC) 2018 and a five times smaller minimum mapping unit (MMU) than the original CLC maps. We provide pixel synchronous examples from all four seasons, plus an additional snowy set. These properties make SeasoNet the currently most versatile and biggest remote sensing scene understanding dataset with possible applications ranging from scene classification over land cover mapping to content-based cross season image retrieval and self-supervised feature learning. We provide baseline results by evaluating state-of-the-art deep networks on the new dataset in scene classification and semantic segmentation scenarios.

研究の動機と目的

• 土地被覆および土地利用解析のための、大規模でマルチシーズン、ピクセルラベル付きの高空間分解能リモートセンシングデータセットが不足しているという問題に対処すること。
• 季節的ドメインシフト下でのシーン分類、セマンティックセグメンテーション、クロスシーズン画像リtrievalにおけるディーブラーニングモデルの堅牢な評価を可能にすること。
• 一貫した季節的およびスペクトル的データを備えた多様で大規模なベンチマークを提供することで、自己教師付き学習およびトランスファーラーニングを支援すること。
• 地域サイズのしきい値を用いた標準化された評価プロトコルにより、マイノリティおよび小規模な土地被覆クラスのパフォーマンスを向上させること。
• 再現性と比較可能性を確保するため、公式のトレイン/バリデーション/テスト分割と評価指標を備えた公開ベンチマークを確立すること。

提案手法

• データセットは、ドイツの全土をカバーする 1,759,830 個の Sentinel-2 イメージパッチ（120×120 ピクセル）から構成され、4 つの季節と雪の状態を含む。ピクセルレベルのラベルは、LBM-DE2018 土地被覆モデルに基づいて抽出されたものである。
• ラベルは CORINE Land Cover 2018 クラスを基盤としているが、元の CLC データベースに比べて 5 倍の高分解能（5 ヘクタールの最小マッピング単位）を実現しており、小規模な物体の漏れを低減している。
• データセットには、データ漏洩を防ぎ、評価の一貫性を保つために、2 つのグリッドに分かれた公式のトレイン/バリデーション/テスト分割が含まれている。
• 小規模でノイズの可能性がある領域の含め方を制御するため、3 つの地域サイズのしきい値（ハード：0 ピクセル、ミディアム：100 ピクセル、イージー：300 ピクセル）が定義されている。
• ベースラインモデルの評価には、マルチラベル分類に DenseNet121、セマンティックセグメンテーションに DeepLabV3 が用いられ、それぞれバイナリクロスエントロピー損失関数とクロスエントロピー損失関数が使用されている。
• すべてのスペクトルバンドが最大のパッチ解像度にアップサンプリングされ、トレーニング中にマルチスペクトル情報が保持されるようにしている。

実験結果

リサーチクエスチョン

• RQ1 最新のディーブラーニングモデルは、ピクセルレベルのラベルが付与された大規模でマルチシーズン、高分解能のリモートセンシングデータセット上で、どの程度の性能を示すのか？
• RQ2 季節的および雪の状態の変化が、ドメインシフトにさらされたリモートセンシングモデルの一般化性能にどの程度寄与するのか？
• RQ3 異なる地域サイズのしきい値（0、100、300 ピクセル）は、小規模およびマイノリティの土地被覆クラスにおけるセマンティックセグメンテーションおよび分類モデルの性能にどのように影響するのか？
• RQ4 SeasoNet は、リモートセンシングアプリケーションにおける有効な事前学習または自己教師付き学習ベンチマークとして機能できるか？
• RQ5 SeasoNet で微調整されたモデルの性能は、ImageNet で事前学習されたモデルと比較して、さまざまな土地被覆カテゴリにおいて F1 スコアおよび mIoU でどの程度向上するのか？

主な発見

• ハードしきい値（すべての領域を含む）における DenseNet121 の F1-macro スコアは 60.02 であり、多様な土地被覆クラスにおける強力な全体的な分類性能を示している。
• ハードしきい値における DeepLabV3 の mIoU スコアは 47.53 であり、中程度のセグメンテーション性能を示しているが、300 ピクセル未満の領域では顕著に低下し、15.98 にまで下がっている。これは、小規模物体検出における課題を浮き彫りにしている。
• ImageNet で事前学習されたモデルは、非事前学習モデルに比べてわずかに優れた性能を示したが、その差は限定的であり、ドメインシフトが依然として大きな課題であることを示している。
• ミディアムしきい値（100 ピクセル）では、F1-macro（61.48）と mIoU（47.78）が最高を記録し、小規模領域のノイズと意味のあるセグメンテーションのバランスが最適であることが示された。
• 100 ピクセル未満の領域では性能が著しく低下（mIoU 10.07）し、小規模で断片的な土地被覆特徴が現在のモデルにとって依然として主要な課題であることを確認した。
• 標準化された分割としきい値を備えたデータセットの公式評価プロトコルにより、将来的なリモートセンシング研究における信頼性があり再現可能なベンチマーク評価が可能になった。