[论文解读] Conditional Denoising of Remote Sensing Imagery Using Cycle-Consistent Deep Generative Models

M. Yu. Zotov, Jevgenij Gamper|arXiv (Cornell University)|Oct 31, 2019

Image and Signal Denoising Methods被引用 4

一句话总结

本文提出一种循环一致性条件生成模型，利用穿透云层的光谱波段对有云的Sentinel-2遥感图像进行去噪。通过结合对抗训练与基于Fréchet距离的分类器特征空间评估方法，该方法在土地覆盖分类任务中达到最先进性能，并有效填补了云和阴影区域的缺失，尽管在实际应用中仍存在模式崩溃的挑战。

ABSTRACT

The potential of using remote sensing imagery for environmental modelling and for providing real time support to humanitarian operations such as hurricane relief efforts is well established. These applications are substantially affected by missing data due to non-structural noise such as clouds, shadows and other atmospheric effects. In this work we probe the potential of applying a cycle-consistent latent variable deep generative model (DGM) for denoising cloudy Sentinel-2 observations conditioned on the information in cloud penetrating bands. We adapt the recently proposed Fr\\'{e}chet Distance metric to remote sensing images for evaluating performance of the generator, demonstrate the potential of DGMs for conditional denoising, and discuss future directions as well as the limitations of DGMs in Earth science and humanitarian applications.

研究动机与目标

• 为解决高分辨率遥感影像中云和阴影导致的数据丢失这一关键问题，该问题阻碍了环境监测与人道主义应用。
• 开发一种条件生成模型，利用穿透云层的波段从有云观测中重建无云地表反射率。
• 通过在训练好的图像分类器的特征空间中使用新型基于Fréchet距离的度量方法，评估生成模型的保真度，从而实现对生成图像质量的稳健评估。
• 在BigEarthNet数据集上，利用去噪图像实现土地覆盖分类的最先进性能。
• 识别深度生成模型在地球科学应用中的局限性，特别是模式崩溃与分布偏移问题，并提出未来改进方向。

提出的方法

• 该方法采用增强型循环一致性生成对抗网络（Aug CycleGAN），包含两组生成器-判别器：一组将有云图像映射为无云图像，另一组将无云图像反向映射回有云图像，以强制实现循环一致性。
• 引入潜在变量以建模云和阴影的位置，同时让生成器基于观测到的穿透云层波段进行条件控制，以指导重建过程。
• 在卷积层中应用谱归一化，以稳定训练过程并提升GAN的收敛性。
• 在BigEarthNet数据集的成对有云与无云图像小批量上进行模型训练，通过在重建图像上使用L1损失强制实现循环一致性。
• 使用预训练的18层ResNet作为特征提取器，计算真实图像与生成图像在分类器特征空间中的Fréchet距离。
• 模型评估包括Fréchet距离与Inception Score，后者用于在Fréchet距离可能产生误导时检测模式崩溃。

实验结果

研究问题

• RQ1 循环一致性条件生成模型能否有效利用穿透云层的光谱波段，从有云的Sentinel-2图像中重建出无云地表反射率？
• RQ2 与人类感知或下游任务性能相比，分类器特征空间中的Fréchet距离度量在多大程度上能有效评估生成遥感图像的保真度？
• RQ3 模式崩溃在多大程度上影响了去噪遥感图像的质量？在多标签设置下，Inception Score等替代度量是否能更准确地捕捉该问题？
• RQ4 与现有云掩膜或去噪技术相比，所提方法在下游土地覆盖分类准确率方面表现如何？
• RQ5 深度生成模型在地球观测应用中的主要局限性是什么，特别是关于分布偏移与类别不平衡问题？

主要发现

• 当使用去噪图像时，所提模型在BigEarthNet数据集上的土地覆盖分类任务中达到最先进性能，证明了该方法在下游任务中的有效性。
• Fréchet距离度量在分类器特征空间中有效捕捉了真实图像与生成图像之间的分布相似性，提供了可靠的评估基准。
• 尽管Fréchet距离得分较低，部分模型仍表现出模式崩溃，生成了浅棕色的填充区域以替代云层，表明仅依赖Fréchet距离不足以评估样本多样性。
• 在本研究背景下，衡量类别多样性的Inception Score被发现比Fréchet距离更能有效指示模式崩溃，提示需要采用多指标评估方法。
• 该模型成功重建了云和阴影下方的地表覆盖特征（如图[1,3]、[1,1]、[3,3]），但在厚云覆盖区域表现不佳，如图[2,1]和[1,2]所示。
• 模型失败案例（如图[3,2]中的错误转换）凸显了泛化能力的挑战，表明需要改进网络架构设计与训练策略。