[论文解读] DeepMask: an algorithm for cloud and cloud shadow detection in optical satellite remote sensing images using deep residual network

Ke Xu, Kaiyu Guan+3 more|arXiv (Cornell University)|Nov 9, 2019

Remote Sensing in AgricultureEnvironmental Science参考文献 46被引用 17

一句话总结

DeepMask 是一种基于深度学习的云和云阴影检测算法，采用残差神经网络（ResNet）实现光学卫星影像中的像素级分割。其在各类地表类型上的平均准确率达到93.56%，显著优于CFMask的85.36%；且仅需四个光谱波段即可保持高性能，适用于多种无热红外波段的卫星平台，具备广泛适用性。

ABSTRACT

Detecting and masking cloud and cloud shadow from satellite remote sensing images is a pervasive problem in the remote sensing community. Accurate and efficient detection of cloud and cloud shadow is an essential step to harness the value of remotely sensed data for almost all downstream analysis. DeepMask, a new algorithm for cloud and cloud shadow detection in optical satellite remote sensing imagery, is proposed in this study. DeepMask utilizes ResNet, a deep convolutional neural network, for pixel-level cloud mask generation. The algorithm is trained and evaluated on the Landsat 8 Cloud Cover Assessment Validation Dataset distributed across 8 different land types. Compared with CFMask, the most widely used cloud detection algorithm, land-type-specific DeepMask models achieve higher accuracy across all land types. The average accuracy is 93.56%, compared with 85.36% from CFMask. DeepMask also achieves 91.02% accuracy on all-land-type dataset. Compared with other CNN-based cloud mask algorithms, DeepMask benefits from the parsimonious architecture and the residual connection of ResNet. It is compatible with input of any size and shape. DeepMask still maintains high performance when using only red, green, blue, and NIR bands, indicating its potential to be applied to other satellite platforms that only have limited optical bands.

研究动机与目标

• 开发一种高精度、全自动的光学卫星遥感影像云和云阴影检测算法。
• 克服基于阈值和传统机器学习方法在明亮地表和光学薄云情况下的局限性。
• 利用深度卷积神经网络捕捉空间、纹理和光谱特征，以提升检测性能。
• 构建一种灵活、高效且可扩展的算法，兼容多种卫星平台，包括光谱波段有限的平台。
• 在保持高精度和跨多样化地表覆盖类型的泛化能力的同时，减少对预处理或后处理步骤的依赖。

提出的方法

• 该算法采用深度残差网络（ResNet）作为主干网络，实现云和云阴影的端到端像素级分类。
• 通过处理每个中心像素周围的15×15像素局部区域，捕捉上下文空间和纹理信息。
• 模型基于Landsat 8云覆盖评估（CCA）验证数据集进行训练，覆盖八种不同的地表覆盖类型。
• 输入图像可为任意尺寸和形状，支持在不同卫星数据格式中的灵活部署。
• 算法无需热红外波段或固定尺寸输入，提升了与多种光学传感器的兼容性。
• 通过置信度阈值调节性能，实现精确率与召回率之间的平衡，支持用户自定义权衡。

实验结果

研究问题

• RQ1 基于深度学习的方法是否能在准确率和鲁棒性方面显著优于传统基于阈值的云检测方法（如CFMask）？
• RQ2 基于ResNet的模型在不进行地表类型特异性调优的情况下，能否在多样化地表覆盖类型上实现良好泛化？
• RQ3 当仅使用四个光谱波段（RGB和NIR）时，该算法表现如何？其是否适用于光谱能力有限的卫星平台？
• RQ4 该模型能否在不依赖预处理或后处理步骤（如超像素分割或形态学滤波）的情况下保持高性能？
• RQ5 该模型在处理雪/冰、明亮地表和光学薄云等复杂情况时表现如何？这些情况常导致现有算法误判。

主要发现

• 针对特定地表类型的DeepMask模型在全部八类地表覆盖类型上的平均准确率达到93.56%，显著高于CFMask的85.36%。
• 通用地表类型DeepMask模型的准确率为91.02%，仍远高于CFMask的性能表现。
• DeepMask在仅使用四个光谱波段（红、绿、蓝和近红外）训练时仍保持高准确率，表明其在缺乏热红外波段的平台中具有强大应用潜力。
• 当光谱波段被移除时，模型性能下降极小，显示出对输入变化的强鲁棒性。
• DeepMask能有效区分云、云阴影与雪/冰及其他明亮地表，而CFMask在此类场景中常出现误判。
• 模型基于局部区域的推理机制使其在无需固定输入尺寸或复杂预/后处理流程的情况下仍能实现高精度。