[論文レビュー] Cloud Removal for Remote Sensing Imagery via Spatial Attention Generative Adversarial Network

Heng Pan|arXiv (Cornell University)|Sep 28, 2020

Image Enhancement Techniques参考文献 20被引用数 64

ひとこと要約

本論文は SpA GAN を提案します。高解像度リモートセンシング画像から雲を除去し、品質を向上させた雲のない画像を生成する空間注意型 GAN フレームワークです。

ABSTRACT

Optical remote sensing imagery has been widely used in many fields due to its high resolution and stable geometric properties. However, remote sensing imagery is inevitably affected by climate, especially clouds. Removing the cloud in the high-resolution remote sensing satellite image is an indispensable pre-processing step before analyzing it. For the sake of large-scale training data, neural networks have been successful in many image processing tasks, but the use of neural networks to remove cloud in remote sensing imagery is still relatively small. We adopt generative adversarial network to solve this task and introduce the spatial attention mechanism into the remote sensing imagery cloud removal task, proposes a model named spatial attention generative adversarial network (SpA GAN), which imitates the human visual mechanism, and recognizes and focuses the cloud area with local-to-global spatial attention, thereby enhancing the information recovery of these areas and generating cloudless images with better quality...

研究の動機と目的

• 雲のない高解像度リモートセンシング画像が正確な分析に必要であることを動機づける。
• 大規模なリモートセンシングデータに適した深層学習を用いた雲除去手法を開発する。
• 空間注意を組み込み、雲領域に焦点を当て情報回復を改善する。
• GAN フレームワーク内の空間注意が優れた雲のない出力を生み出すことを示す。

提案手法

• リモートセンシング画像の雲除去に対して空間注意生成対向ネットワーク（SpA GAN）を提案する。
• 局所から全体へと拡張する空間注意を組み込み、雲領域を特定して焦点を当てる。
• 対戦的訓練を活用して現実的で雲のない出力を促す。
• 人間の視覚機構を模倣して、遮蔽された領域の情報回復を高める。
• エンドツーエンドで訓練し、視覚的忠実度を高めた雲のない衛星画像を生成する。

実験結果

リサーチクエスチョン

• RQ1 GAN フレームワーク内の空間注意は、リモートセンシング画像の雲を効果的に識別・除去できるか？
• RQ2 SpA GAN はベースライン手法と比較して雲のない出力の視覚的品質と忠実度を改善するか？
• RQ3 局所的から全体へ向かう注意は、高解像度画像の雲に覆われた領域の回復にどのように影響するか？

主な発見

• SpA GAN は空間注意を用いて雲領域に焦点を当て、情報回復を改善する。
• 本モデルは、要約段階で、雲のない画像を従来の類似手法よりも品質が高いもので生成する。
• 対向的訓練は、視覚的に現実的な雲のない出力を生み出すのに役立つ。