[論文レビュー] Seeing Through Clouds in Satellite Images

M. Zhao, Peder A. Olsen+1 more|arXiv (Cornell University)|Jun 15, 2021

Advanced Image Fusion Techniques被引用数 4

ひとこと要約

本論文では、複数時刻の光学衛星データと合成孔径レーダー（SAR）からの電波（RF）信号を融合することで、雲のないマルチスペクトル衛星画像を再構築する新規ニューラルネットワークモデルであるSpaceEyeを提案する。この手法により、正確で毎日1回の雲除去が可能となり、農業、洪水モニタリング、野火検出の分野で重要な応用が可能になる。公開データを用いた実験で、ベースライン比でPSNRが著しく8dB向上した。

ABSTRACT

This paper presents a neural-network-based solution to recover pixels occluded by clouds in satellite images. We leverage radio frequency (RF) signals in the ultra/super-high frequency band that penetrate clouds to help reconstruct the occluded regions in multispectral images. We introduce the first multi-modal multi-temporal cloud removal model. Our model uses publicly available satellite observations and produces daily cloud-free images. Experimental results show that our system significantly outperforms baselines by 8dB in PSNR. We also demonstrate use cases of our system in digital agriculture, flood monitoring, and wildfire detection. We will release the processed dataset to facilitate future research.

研究の動機と目的

• 光学衛星画像における雲による遮蔽という継続的な課題に対処し、環境変化のタイムリーなモニタリングを可能にする。
• 雲を透過する補完的なRF信号を用いて、正確で雲のないマルチスペクトル画像を再構築する手法を開発する。
• 地上の雲のない画像を必要としない、マルチモーダルかつマルチタイムスタンプの深層学習フレームワークを構築する。
• 一貫性があり毎日1回の雲のない画像出力を提供することで、デジタル農業、洪水モニタリング、野火検出の実用的応用を可能にする。
• 今後の研究を支援するため、公開済みのセントネルミッションデータを処理したデータセットを公開する。

提案手法

• モデルはマルチモーダルアテンション機構を用いて、マルチスペクトル画像とSAR由来のRF反射率マップを統合し、空間的・時間的整合性を確保する。
• 目標分布の部分的観測に基づいて動作する修正済みの敵対的訓練方式を導入し、地上の雲のない画像が不要な高精細な生成を実現する。
• システムは、時間的・空間的次元を整えるために、公開済みのセントネル-1（SAR）およびセントネル-2（マルチスペクトル）データを活用する。
• 欠損した画素を再構築するために、減衰補間と低ランク行列補完を組み合わせた新規最適化フレームワークを採用し、計算効率を考慮してランクを固定（35）に設定する。
• GPUアクセラレーションを実現するため、事前に計算された逆行列を用いた閉形式反復アルゴリズムを採用し、計算オーバーヘッドを最小限に抑える。
• 構造的およびスペクトル的忠実度を保つために、知覚的損失と敵対的損失の組み合わせを用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 SARからのRF信号を効果的に活用することで、雲に覆われた光学衛星画像を高精度に再構築できるか？
• RQ2 光学およびRFのマルチモーダルデータとマルチタイムスタンプの衛星データをどのように統合し、毎日1回の雲のない画像予測を可能にするか？
• RQ3 地上の雲のない画像がなくても、深層学習モデルが高精細な雲除去を達成できるか？
• RQ4 既存の単一モーダルまたは非時系列的手法と比較して、マルチモーダルかつマルチタイムスタンプの統合による性能向上はどの程度か？
• RQ5 本手法は、洪水追跡や作物モニタリングのような時間に敏感な応用分野において、どの程度モニタリングの質を向上できるか？

主な発見

• 提案されたSpaceEyeモデルは、既存のベースライン比でPSNRが8dB向上し、雲除去分野における最先端手法を著しく上回った。
• 本システムは、ワシントン州カーネーションの洪水イベントにおいて、長期間にわたる雲の被覆にもかかわらず、2月7日における水没域の広がりと2月中旬以降の水位低下を正確に再構築した。
• 本モデルは、作物の発芽および生育サイクルの継続的モニタリングを可能にすることで、デジタル農業分野における強力な性能を示した。
• 雲のない画像を提供することで、焼け跡の早期検出と火災後の回復状況の追跡が可能となり、信頼性の高い野火検出が実現した。
• 部分的観測に基づく新規の敵対的訓練方式のおかげで、地上の雲のない画像がなくても高精細な再構築が達成された。
• 研究者らは、今後のマルチモーダル地球観測分野の研究を支援するため、公開済みのセントネルミッションデータを処理したデータセットを公開する予定である。