[论文解读] Cloud Detection Algorithm for Remote Sensing Images Using Fully Convolutional Neural Networks

Sorour Mohajerani, Thomas A. Krammer+1 more|arXiv (Cornell University)|Oct 12, 2018

Remote Sensing in Agriculture被引用 5

一句话总结

该论文提出了一种基于全卷积神经网络（FCN）的云检测方法，仅使用四个光谱波段（RGBNir）对遥感图像进行处理，并通过基于梯度的积雪/冰川去除技术纠正不准确的真值标签。与使用未经校正数据的基线深度学习模型相比，该方法在Jaccard指数和召回率上分别提升了4.36%和3.62%。

ABSTRACT

This paper presents a deep-learning based framework for addressing the problem of accurate cloud detection in remote sensing images. This framework benefits from a Fully Convolutional Neural Network (FCN), which is capable of pixel-level labeling of cloud regions in a Landsat 8 image. Also, a gradient-based identification approach is proposed to identify and exclude regions of snow/ice in the ground truths of the training set. We show that using the hybrid of the two methods (threshold-based and deep-learning) improves the performance of the cloud identification process without the need to manually correct automatically generated ground truths. In average the Jaccard index and recall measure are improved by 4.36% and 3.62%, respectively.

研究动机与目标

• 为解决由于积雪和冰川被误分类为云而导致遥感图像中云检测不准确的问题。
• 开发一种仅使用四个光谱波段（RGBNir）的深度学习框架，实现像素级云分割，从而提升在光谱数据有限的卫星系统中的适用性。
• 通过自动识别并去除积雪/冰川区域，纠正默认真值标签，从而提升云检测性能。
• 创建一个公开可获取的、经过精确标注的遥感云检测数据集。
• 证明在包含积雪和云的复杂场景中，混合阈值法与深度学习的结合优于纯深度学习或纯阈值方法。

提出的方法

• 使用Landsat 8影像中裁剪出的$384 \times 384$图像块，基于RGBNir波段输入，训练一个类似U-Net的全卷积神经网络（FCN）。
• 网络在编码器与解码器模块之间引入跳跃连接，以保留空间细节并提高分割精度。
• 在训练前，应用基于梯度的阈值方法识别并从默认真值中排除积雪/冰川区域。
• 模型训练600个周期，初始学习率为$10^{-4}$，采用二元交叉熵损失函数和Adam优化算法。
• 推理阶段，将测试图像划分为非重叠的$384 \times 384$图像块，将其调整为$192 \times 192$，通过网络处理后拼接成完整分辨率的云概率图。
• 最后一步通过阈值处理将概率图转换为二值云掩膜。

实验结果

研究问题

• RQ1 在仅使用有限光谱波段（RGBNir）的情况下，全卷积神经网络能否在遥感图像中实现准确的像素级云检测？
• RQ2 通过去除积雪/冰川区域来纠正默认真值标签，对基于深度学习的云检测模型性能有何影响？
• RQ3 与使用未经校正真值相比，将基于阈值的积雪/冰川检测与深度学习相结合，能在多大程度上提升Jaccard指数和召回率？
• RQ4 所提出的方法是否能推广至仅具备四个光谱波段的卫星和机载系统？
• RQ5 通过FCN架构整合全局与局部上下文信息，是否能提升在云与积雪/冰川混合场景下的云检测鲁棒性？

主要发现

• 与未经校正的真值相比，使用积雪/冰川校正后的真值标签，该方法使Jaccard指数提升了4.36%。
• 召回率在真值校正后提升了3.62%，表明对真实云像素的检测能力增强。
• 精确率提高了1.30%，表明在积雪/冰川校正后，误报数量减少。
• 整体准确率在使用校正后的训练数据后提升了0.56%。
• 图3的可视化结果证实，该方法能有效减少在积雪和冰川区域的误报。
• 本研究使用的数据集（经人工校正的真值标签）可应请求公开获取。