[論文レビュー] Generating Synthetic Multispectral Satellite Imagery from Sentinel-2

Tharun Mohandoss, Aditya Kulkarni+3 more|arXiv (Cornell University)|Dec 5, 2020

Remote-Sensing Image Classification参考文献 12被引用数 8

ひとこと要約

本論文では、Sentinel-2データから高精細な合成マルチスペクトル衛星画像を生成するため、WGAN-GP損失を用いた修正されたMSG-ProGANアーキテクチャを提案している。10mおよび20mの異なる解像度を持つ10バンドの256×256画像をリアルistically生成し、人間による区別がつかない結果を得た。この手法により、リモートセンシング応用におけるデータが乏しい地域でのデータ拡張が可能となった。

ABSTRACT

Multi-spectral satellite imagery provides valuable data at global scale for many environmental and socio-economic applications. Building supervised machine learning models based on these imagery, however, may require ground reference labels which are not available at global scale. Here, we propose a generative model to produce multi-resolution multi-spectral imagery based on Sentinel-2 data. The resulting synthetic images are indistinguishable from real ones by humans. This technique paves the road for future work to generate labeled synthetic imagery that can be used for data augmentation in data scarce regions and applications.

研究の動機と目的

• リモートセンシング分野における教師あり機械学習のためのグローバルに利用可能なラベル付き学習データの不足、特に遠隔地や危険な地域における課題に対処すること。
• 複数のバンドと異なる空間解像度を備えたリアルなマルチスペクトル衛星画像を生成する生成モデルを開発すること。
• データが乏しい地域における土地被覆分類や農業モニタリングなどの後続応用におけるデータ拡張を可能にすること。
• 品質の著しい損失を伴わずにモデルのリソース要件を低減し、制限されたハードウェア上でのデプロイを支援すること。
• 対応するグランドトゥルースラベルを備えた合成画像生成のための基盤を築くこと。

提案手法

• 4×4から256×256ピクセルへと段階的に解像度を向上させながら、生成器と判別器をトレーニングするマルチスケール勾配フィードバックを備えたMSG-ProGANアーキテクチャを採用。
• 標準的なRGBではなく、10バンドのマルチスペクトル（4バンド10m、6バンド20m解像度）を出力するように生成器と判別器を修正し、異なる解像度に対応する別々の処理ブランチを用いる。
• トレーニングの安定化とモード崩壊・分布誤差の低減のため、勾配ペナルティ（λ = 10）を用いたWGAN-GP損失を適用。
• RMSProp最適化手法を用い、学習率を10⁻³に設定。低解像度バンドを256×256出力サイズに合わせるため、最近傍補間を適用。
• 10mおよび20mバンドを並列処理する解像度に適応したアーキテクチャを実装し、判別器内で共有された特徴抽出と統合を実現。
• フィルタ数の削減と畳み込み層のプルーニングによりモデル効率を最適化し、サイズと画像品質のトレードオフを評価。

実験結果

リサーチクエスチョン

• RQ1 GANベースのモデルは、実際のSentinel-2データと人間が区別できないほどリアルな合成マルチスペクトル衛星画像を生成できるか？
• RQ2 10mおよび20mという異なる空間解像度を持つ複数のスペクトルバンドを、一度の画像生成プロセスで効果的に処理するには、生成モデルをどのように適合させられるか？
• RQ3 元々RGB画像を想定して設計された標準的なGANを、マルチスペクトルリモートセンシング画像に拡張するために、どのようなアーキテクチャ的修正が必要か？
• RQ4 画像のリアルさを著しく損なわずに、モデルサイズと計算リソースのオーバーヘッドをどの程度まで削減できるか？
• RQ5 生成された合成マルチスペクトル画像は、データが乏しい地域における教師あり学習のための実用的なデータ拡張ソースとして機能するか？

主な発見

• 本モデルは、10バンド（4バンド10m、6バンド20m）の256×256マルチスペクトル画像を合成し、人間の観察者にとって実際のSentinel-2画像と区別がつかないほどにリアルな結果を達成した。
• 10mおよび20mバンドを別々の解像度に適応したブランチで処理するアーキテクチャ（3C）が、最高の品質を発揮し、バンド間の同期が良好で、最小限のアーチファクトが生じた。
• 各層のフィルタ数を半分に削減することで、モデルサイズを顕著に縮小でき、画像品質への影響は最小限に抑えられ、畳み込み層のプルーニングを上回る性能を示した。
• トレーニングデータにおけるクラスの不均衡、特にジャガイモ畑や都市部など代表が少ない土地被覆タイプの影響により、モデルの性能が制限された。
• 最高性能を示したモデル（3C）は、リアルなテクスチャとバンド間のスペクトル一貫性を持つ画像を生成したが、一部で多様性の損失が観察された。
• 本アプローチは10バンドケースへも一般化可能であることが示され、リソース効率の高いモデルがマルチスペクトル生成に適応可能であることが実証された。