[论文解读] Deep learning based cloud detection for remote sensing images by the fusion of multi-scale convolutional features.

Zhiwei Li, Huanfeng Shen+4 more|arXiv (Cornell University)|Oct 13, 2018

Remote-Sensing Image Classification被引用 5

一句话总结

本文提出MSCFF，一种基于深度学习的云检测方法，通过编码器-解码器架构与新颖的特征融合模块，融合多尺度卷积特征，在0.5–50 m分辨率的多种光学卫星图像上实现了卓越的准确率，尤其在明亮地表区域表现更优，优于基于规则和最先进的深度学习方法。

ABSTRACT

Cloud detection is an important preprocessing step for the precise application of optical satellite imagery. In this paper, we propose a deep convolutional neural network based cloud detection method named multi-scale convolutional feature fusion (MSCFF) for remote sensing images. In the network architecture of MSCFF, the encoder and corresponding decoder modules, which provide both local and global context by densifying feature maps with trainable filter banks, are utilized to extract multi-scale and high-level spatial features. The feature maps of multiple scales are then up-sampled and concatenated, and a novel MSCFF module is designed to fuse the features of different scales for the output. The output feature maps of the network are regarded as probability maps, and fed to a binary classifier for the final pixel-wise cloud and cloud shadow segmentation. The MSCFF method was validated on hundreds of globally distributed optical satellite images, with spatial resolutions ranging from 0.5 to 50 m, including Landsat-5/7/8, Gaofen-1/2/4, Sentinel-2, Ziyuan-3, CBERS-04, Huanjing-1, and collected high-resolution images exported from Google Earth. The experimental results indicate that MSCFF has obvious advantages over the traditional rule-based cloud detection methods and the state-of-the-art deep learning models in terms of accuracy, especially in bright surface covered areas. The effectiveness of MSCFF means that it has great promise for the practical application of cloud detection for multiple types of satellite imagery. Our established global high-resolution cloud detection validation dataset has been made available online.

研究动机与目标

• 解决在不同地表类型下光学卫星图像中准确检测云和云影的挑战。
• 提升在传统方法常失效的明亮地表区域的云检测性能。
• 开发一种适用于多种空间分辨率卫星传感器的稳健端到端深度学习框架。
• 建立一个具有全球代表性的高分辨率云检测验证数据集，以支持云检测研究。

提出的方法

• MSCFF网络采用编码器-解码器架构，并使用可训练滤波器组提取多尺度、高层空间特征。
• 将多个尺度的特征图上采样后拼接，再输入到新颖的多尺度卷积特征融合（MSCFF）模块中。
• MSCFF模块通过可学习滤波器在不同尺度间融合特征，以增强局部与全局上下文表征能力。
• 最终输出的特征图被视为概率图，并输入二分类器，实现像素级的云和云影分割。
• 网络在来自多种传感器的全球分布的大规模光学卫星图像数据集上进行端到端训练。
• 模型在Landsat、Gaofen、Sentinel-2、Ziyuan-3、CBERS-04、Huanjing-1和Google Earth的图像上进行评估，覆盖0.5–50 m的空间分辨率。

实验结果

研究问题

• RQ1 深度学习模型能否在具有不同空间分辨率的多种光学卫星传感器上有效检测云和云影？
• RQ2 所提出的多尺度特征融合机制相比现有方法如何提升检测准确率？
• RQ3 在明亮地表条件下，该模型相较于传统基于规则的方法在多大程度上表现更优？
• RQ4 该模型能否在不同地表类型和大气条件下于全球卫星图像中实现良好泛化？
• RQ5 所提出的特征融合模块对特征表征和分割性能有何影响？

主要发现

• MSCFF在传统基于规则的云检测方法中表现显著更优，尤其在明亮地表区域。
• 在所有测试的卫星传感器上，该模型在云和云影分割任务中均优于最先进的深度学习模型。
• 多尺度特征融合机制增强了局部与全局上下文信息，提升了特征表征能力和分割精度。
• 该模型在不同空间分辨率（0.5–50 m）和传感器类型之间表现出强大的泛化能力。
• 作者发布了具有全球代表性的高分辨率云检测验证数据集，以支持未来研究。