[论文解读] Multi-Head Linear Attention Generative Adversarial Network for Thin Cloud Removal

Chenxi Duan, Rui Li|arXiv (Cornell University)|Dec 20, 2020

Advanced Image Fusion Techniques参考文献 49被引用 5

一句话总结

本文提出了一种名为多头线性注意力生成对抗网络（MLAGAN）的新颖深度学习框架，用于遥感图像中的薄云去除。通过在编码器-解码器架构中引入多头线性注意力机制，MLAGAN能够有效建模长距离空间依赖关系，从而重建受云影响的区域，同时保留底层地表特征，在RICE1和RICE2数据集上实现了最先进性能。

ABSTRACT

In remote sensing images, the existence of the thin cloud is an inevitable and ubiquitous phenomenon that crucially reduces the quality of imageries and limits the scenarios of application. Therefore, thin cloud removal is an indispensable procedure to enhance the utilization of remote sensing images. Generally, even though contaminated by thin clouds, the pixels still retain more or less surface information. Hence, different from thick cloud removal, thin cloud removal algorithms normally concentrate on inhibiting the cloud influence rather than substituting the cloud-contaminated pixels. Meanwhile, considering the surface features obscured by the cloud are usually similar to adjacent areas, the dependency between each pixel of the input is useful to reconstruct contaminated areas. In this paper, to make full use of the dependencies between pixels of the image, we propose a Multi-Head Linear Attention Generative Adversarial Network (MLAGAN) for Thin Cloud Removal. The MLA-GAN is based on the encoding-decoding framework consisting of multiple attention-based layers and deconvolutional layers. Compared with six deep learning-based thin cloud removal benchmarks, the experimental results on the RICE1 and RICE2 datasets demonstrate that the proposed framework MLA-GAN has dominant advantages in thin cloud removal.

研究动机与目标

• 为解决遥感图像中薄云污染的问题，此类污染会降低图像质量并限制其可用性。
• 在受云影响的区域中保留底层地表信息，因为薄云虽会遮挡但不会完全掩盖地表特征。
• 利用像素之间的空间依赖关系，因为邻近区域通常具有相似的地表特征。
• 开发一种深度学习模型，通过建模长距离上下文关系来重建受薄云影响的区域。
• 在基准数据集上超越现有的基于深度学习的薄云去除方法。

提出的方法

• 所提出的MLAGAN采用编码器-解码器架构，并结合残差块以提取和重建特征。
• 集成多头线性注意力层，以高效建模图像中长距离的空间依赖关系。
• 注意力机制通过使用线性近似计算查询、键和值特征之间的相似性，以降低计算成本。
• 在解码器中使用转置卷积层对特征图进行上采样，生成高分辨率的无云输出。
• 采用生成对抗网络（GAN）框架，其中判别器经过训练以区分真实图像与生成的无云图像。
• 整体损失函数结合了对抗损失、感知损失和重建损失，以提升图像的真实感与结构保真度。

实验结果

研究问题

• RQ1 多头线性注意力机制是否能有效建模薄云去除任务中的长距离依赖关系？
• RQ2 MLAGAN在保留薄云下地表细节方面，相较于现有基于深度学习的方法表现如何？
• RQ3 注意力机制的集成在多大程度上提升了重建质量与视觉保真度？
• RQ4 与自编码器基线相比，基于GAN的训练策略是否显著提升了生成无云图像的真实感？
• RQ5 MLAGAN在不同遥感场景与云模式下的鲁棒性如何？

主要发现

• MLAGAN在RICE1和RICE2数据集上实现了最先进性能，优于六种基于深度学习的基线方法。
• 定量结果表明，MLAGAN的PSNR和SSIM值均高于现有方法，表明其具有更优的重建质量。
• 视觉对比显示，MLAGAN在受云影响区域中更有效地保留了细微纹理与结构细节。
• 消融实验确认，多头线性注意力模块相比基线模型显著提升了性能。
• 该模型在多种遥感场景与薄云模式下均表现出强大的泛化能力。