[論文レビュー] Predicting Landsat Reflectance with Deep Generative Fusion

Shahine Bouabid, Maxim Chernetskiy+2 more|arXiv (Cornell University)|Nov 9, 2020

Remote Sensing in Agriculture参考文献 35被引用数 6

ひとこと要約

本稿では、粗い時間分解能のMODIS反射率データと稀な高分解能のLandsat画像を融合することで、高分解能のLandsatに類似した表面反射率を予測するための条件付きGAN（cGAN）を用いた深層生成融合モデルを提案する。本手法は、PSNRが24.0（NIR）、SSIMが0.761、SAMが2.70の画像品質指標で最先端の性能を達成し、ESTARFMに比べて優れた忠実性とテクスチャの現実性を示している。

ABSTRACT

Public satellite missions are commonly bound to a trade-off between spatial and temporal resolution as no single sensor provides fine-grained acquisitions with frequent coverage. This hinders their potential to assist vegetation monitoring or humanitarian actions, which require detecting rapid and detailed terrestrial surface changes. In this work, we probe the potential of deep generative models to produce high-resolution optical imagery by fusing products with different spatial and temporal characteristics. We introduce a dataset of co-registered Moderate Resolution Imaging Spectroradiometer (MODIS) and Landsat surface reflectance time series and demonstrate the ability of our generative model to blend coarse daily reflectance information into low-paced finer acquisitions. We benchmark our proposed model against state-of-the-art reflectance fusion algorithms.

研究の動機と目的

• 公共の衛星画像における空間分解能と時間分解能のトレードオフを解消し、急激な土地被覆変化の有効なモニタリングを可能にする。
• 時間分解能が低く空間分解能が高いLandsatデータと、時間分解能が高く空間分解能が低いMODISデータを融合する深層生成モデルを開発する。
• 学習および評価用に使用する、空間的に一致したLandsatとMODISの表面反射率時系列データセットを新規に構築する。
• 定量的および定性的な指標を用いて、ESTARFMなどの最先端の反射率統合手法と比較して、提案手法のベンチマークを実施する。

提案手法

• 最後の既知のLandsat画像からの空間的構造を保持するため、スキップ接続を備えたU-Net生成器を用い、ネットワークが時間的変化のみを学習できるようにする。
• 局所的な画像パッチを分類するPatchGAN識別器を採用し、高周波数のテクスチャ生成と現実的な画像ディテールを促進する。
• L1損失とSSIM損失の組み合わせを適用し、敵対的学習の安定性を高め、チェッカーパattersのようなアーティファクトを低減する。
• ランダムに切り取った256×256のパッチを用いたデータ拡張を伴い、ペア化されたLandsat-MODIS反射率時系列データをエンドツーエンドで学習する。
• MODISデータを30m解像度に再サンプリングし、バイリニア補間と地理的参照を用いてLandsatと空間的に一致させる。
• 敵対的損失、L1損失、SSIM損失を最適化することで、知覚的品質と画素単位の正確性の両立を図る。

実験結果

リサーチクエスチョン

• RQ1 粗い時間分解能のMODIS反射率と稀な高分解能のLandsatデータを統合する深層生成モデルは、現実的で高分解能の表面反射率予測を効果的に実現できるか？
• RQ2 従来の統計的手法（例：ESTARFM）と比較して、提案されたcGANベースの統合モデルは、画像品質および時間的整合性においてどの程度優れているか？
• RQ3 L1損失に加えてSSIM損失を組み合わせることで、生成された反射率画像の安定性と現実性は、L1のみの監視に比べてどの程度向上するか？
• RQ4 本モデルは、農地、森林、都市地帯など多様な土地被覆タイプにおいて、複雑な時間的ダイナミクスを捉える能力を有しているか？

主な発見

• L1損失とSSIM損失を組み合わせた提案cGANモデルは、近赤外（NIR）バンドでPSNRが24.0を達成し、ESTARFMの19.6を顕著に上回った。
• NIRバンドにおけるSSIMスコアは0.761に達し、真値との構造的類似性がESTARFMの0.555よりも優れていた。
• スペクトル角マッパー（SAM）スコアは2.70（×10⁻²）に低下し、ESTARFMの4.88に比べてスペクトル忠実度が向上した。
• 定性的な結果から、cGANモデルは細かい空間的ディテールをよりよく保持しており、特に多様性の高い景観において、MODIS反射率をLandsatの幾何構造に正確に統合していることが示された。
• SSIM損失の導入により、学習が安定化し、チェッカーパターンのような敵対的アーティファクトが低減され、知覚的品質が向上した。
• 入力のLandsat画像が予測日から時間的に離れていても、本モデルは反射率を正確に予測する能力を示したのに対し、ESTARFMはこのような状況で困難を示した。