[论文解读] Multi-Modal and Multi-Resolution Data Fusion for High-Resolution Cloud Removal: A Novel Baseline and Benchmark

Fang Xu, Yilei Shi+3 more|arXiv (Cornell University)|Jan 9, 2023

Advanced Image Fusion Techniques被引用 6

一句话总结

本文提出了Planet-CR，一个用于高分辨率云去除的新型基准数据集，结合多模态（光学与SAR）和多分辨率数据融合。提出Align-CR方法，在重建过程中隐式对齐特征，以提升无云图像恢复质量，在新基准上实现了视觉和语义重建质量的最先进性能。

ABSTRACT

Cloud removal is a significant and challenging problem in remote sensing, and in recent years, there have been notable advancements in this area. However, two major issues remain hindering the development of cloud removal: the unavailability of high-resolution imagery for existing datasets and the absence of evaluation regarding the semantic meaningfulness of the generated structures. In this paper, we introduce M3R-CR, a benchmark dataset for high-resolution Cloud Removal with Multi-Modal and Multi-Resolution data fusion. With this dataset, we consider the problem of cloud removal in high-resolution optical remote sensing imagery by integrating multi-modal and multi-resolution information. In this context, we have to take into account the alignment errors caused by the multi-resolution nature, along with the more pronounced misalignment issues in high-resolution images due to inherent imaging mechanism differences and other factors. Existing multi-modal data fusion based methods, which assume the image pairs are aligned accurately at pixel-level, are thus not appropriate for this problem. To this end, we design a new baseline named Align-CR to perform the low-resolution SAR image guided high-resolution optical image cloud removal. It gradually warps and fuses the features of the multi-modal and multi-resolution data during the reconstruction process, effectively mitigating concerns associated with misalignment. In the experiments, we evaluate the performance of cloud removal by analyzing the quality of visually pleasing textures using image reconstruction metrics and further analyze the generation of semantically meaningful structures using a well-established semantic segmentation task. The proposed Align-CR method is superior to other baseline methods in both areas.

研究动机与目标

• 为解决缺乏高分辨率、全球分布的云去除数据集，且配对光学与SAR数据的问题。
• 通过引入像素级地表覆盖标注，实现语义结构恢复的评估，超越仅依赖视觉指标。
• 开发一种稳健的方法，用于在图像未像素对齐的情况下，融合多模态与多分辨率数据进行云去除。
• 建立一个新的高分辨率云去除基线与基准，支持视觉与语义双重评估。
• 揭示当前视觉指标在捕捉语义保真度方面的局限性，倡导采用优先考虑语义一致性的损失函数。

提出的方法

• 作者收集了高分辨率（3米）的PlanetScope光学影像，包含近乎同时获取的无云与有云影像，以最小化地表变化。
• 将Sentinel-1 SAR数据作为穿透云层的模态，为云影响区域提供结构先验。
• Planet-CR数据集整合了来自WorldCover的像素级地表覆盖标注，以支持语义评估。
• 所提出的Align-CR方法在重建过程中实现隐式特征对齐，避免了低分辨率SAR与高分辨率光学图像之间的显式空间配准。
• Align-CR采用基于U-Net的生成器，并引入交叉注意力模块，融合多模态特征并重建高分辨率无云图像。
• 该方法通过结合L1损失（用于像素级重建）和基于预训练地表覆盖分割头的语义一致性损失进行训练。

实验结果

研究问题

• RQ1 多模态与多分辨率数据融合是否能显著提升高分辨率云去除性能，超越当前的视觉质量指标？
• RQ2 在处理SAR与光学图像未对齐的情况下，深度学习框架中的隐式特征对齐与显式空间配准相比表现如何？
• RQ3 当前视觉指标（如PSNR、SSIM）在云去除任务中与语义重建质量的相关性有多大？
• RQ4 是否可通过统一损失函数平衡视觉保真度与语义一致性，从而实现更优的无云图像恢复？
• RQ5 输入中无云区域的可用性在多大程度上影响云去除模型在语义准确性方面的性能？

主要发现

• Align-CR在所有云覆盖率水平下，均在视觉恢复质量（以PSNR、SSIM衡量）和语义恢复质量（以mIoU衡量）方面表现最佳。
• mIoU结果表明，Align-CR优于基线方法，尤其在可提供更丰富无云参考区域用于对齐时表现更优。
• 尽管视觉指标更优，SAR-Opt-cGAN的mIoU仍低于McGAN与SpA GAN，表明视觉与语义保真度之间存在脱节。
• 视觉与语义指标之间的差距在高云覆盖率水平（80–100%）最为显著，此时仅依赖视觉指标无法反映语义退化。
• 消融实验证实，隐式对齐（Align-CR）在视觉与语义指标上均持续优于非对齐训练（w/o Align）。
• 基准测试揭示，当前视觉指标不足以评估云去除方法在下游语义任务中的表现，亟需开发优先考虑语义一致性的新损失函数。