[论文解读] Cloud Removal for Remote Sensing Imagery via Spatial Attention Generative Adversarial Network

Heng Pan|arXiv (Cornell University)|Sep 28, 2020

Image Enhancement Techniques参考文献 20被引用 64

一句话总结

本文提出 SpA GAN，一种基于空间注意力的 GAN 框架，用于从高分辨率遥感影像中去除云层，生成云少的高质量图像。

ABSTRACT

Optical remote sensing imagery has been widely used in many fields due to its high resolution and stable geometric properties. However, remote sensing imagery is inevitably affected by climate, especially clouds. Removing the cloud in the high-resolution remote sensing satellite image is an indispensable pre-processing step before analyzing it. For the sake of large-scale training data, neural networks have been successful in many image processing tasks, but the use of neural networks to remove cloud in remote sensing imagery is still relatively small. We adopt generative adversarial network to solve this task and introduce the spatial attention mechanism into the remote sensing imagery cloud removal task, proposes a model named spatial attention generative adversarial network (SpA GAN), which imitates the human visual mechanism, and recognizes and focuses the cloud area with local-to-global spatial attention, thereby enhancing the information recovery of these areas and generating cloudless images with better quality...

研究动机与目标

• 为准确分析，动机在于需要云清晰的高分辨率遥感影像。
• 开发适用于大规模遥感数据的基于深度学习的云去除方法。
• 结合空间注意力以聚焦云区域并改善信息恢复。
• 证明在 GAN 框架中使用空间注意力可产生优于云去除的输出。

提出的方法

• 提出用于遥感影像云去除的空间注意力生成对抗网络（SpA GAN）。
• 整合局部到全局的空间注意力以识别并聚焦云区域。
• 利用对抗训练促使结果更真实、云去除更干净。
• 模仿人类视觉机制以增强遮挡区域的信息恢复。
• 端到端训练以产生云去除的卫星图像，视觉保真度更高。

实验结果

研究问题

• RQ1 在 GAN 框架中使用空间注意力是否能够有效识别并去除遥感影像中的云？
• RQ2 与基线方法相比，SpA GAN 是否提高云去除输出的视觉质量和保真度？
• RQ3 局部到全局注意力如何影响高分辨率图像中被云覆盖区域的恢复？

主要发现

• SpA GAN 使用空间注意力聚焦云区域以改善信息恢复。
• 该模型生成的云去除图像在质量上优于同类方法（在摘要中）。
• 对抗训练有助于产生视觉上逼真的云去除输出。