[论文解读] Cloud-Net+: A Cloud Segmentation CNN for Landsat 8 Remote Sensing Imagery Optimized with Filtered Jaccard Loss Function

Sorour Mohajerani, Parvaneh Saeedi|arXiv (Cornell University)|Jan 23, 2020

Advanced Image Fusion Techniques参考文献 25被引用 17

一句话总结

本文提出 Cloud-Net+，一种具有新颖过滤 Jaccard 损失函数的深度卷积神经网络，用于在 Landsat 8 遥感影像中实现精确的云分割。该方法在积雪和霾等复杂条件下提升了检测性能，通过增强对缺失云像素的敏感性并提高掩码预测精度，在四个公开数据集上实现了最先进性能。

ABSTRACT

Cloud Segmentation is one of the fundamental steps in optical remote sensing image analysis. Current methods for identification of cloud regions in aerial or satellite images are not accurate enough especially in the presence of snow and haze. This paper presents a deep learning-based framework to address the problem of cloud detection in Landsat 8 imagery. The proposed method benefits from a convolutional neural network (Cloud-Net+) with multiple blocks, which is trained with a novel loss function (Filtered Jaccard loss). The proposed loss function is more sensitive to the absence of cloud pixels in an image and penalizes/rewards the predicted mask more accurately. The combination of Cloud-Net+ and Filtered Jaccard loss function delivers superior results over four public cloud detection datasets. Our experiments on one of the most common public datasets in computer vision (Pascal VOC dataset) show that the proposed network/loss function could be used in other segmentation tasks for more accurate performance/evaluation.

研究动机与目标

• 为解决光学遥感中云检测不准确的长期挑战，特别是在积雪和霾等复杂大气与地表条件下的检测问题。
• 通过设计一种新型损失函数，根据云像素的存在或缺失情况更有效地惩罚或奖励预测结果，从而提升分割精度。
• 开发一种稳健且可迁移的深度学习框架，不仅在云分割任务中表现优异，同时在一般语义分割任务中也具备良好性能。

提出的方法

• 所提出的框架采用类似 U-Net 的编码器-解码器结构，并结合多个残差块，以捕捉 Landsat 8 影像中的多尺度空间特征。
• 提出一种新颖的损失函数——过滤 Jaccard 损失，通过在损失计算过程中过滤掉背景区域，提升对稀有或缺失云像素的敏感性。
• 该损失函数计算预测掩码与真实掩码之间的交并比（IoU），但引入动态过滤机制，聚焦于实际存在云的区域。
• 网络采用随机梯度下降配合权重衰减进行端到端训练，通过优化过滤 Jaccard 损失，提升掩码的精确率与召回率。
• 架构中引入跳跃连接，以保留下采样过程中丢失的空间细节，从而增强云区域边界的定位精度。

实验结果

研究问题

• RQ1 修改后的损失函数是否能提升在 Landsat 8 影像中对稀疏或低对比度云区的检测能力？
• RQ2 与标准交叉熵损失和基于 IoU 的损失相比，过滤 Jaccard 损失函数在分割精度和鲁棒性方面表现如何？
• RQ3 Cloud-Net+ 框架在其他语义分割任务中的泛化能力如何，其适用范围有多大？

主要发现

• 所提出的 Cloud-Net+ 搭配过滤 Jaccard 损失在四个公开云检测数据集上达到最先进性能，展现出卓越的分割精度。
• 过滤 Jaccard 损失显著提升了模型对缺失云像素的敏感性，在积雪和霾等复杂场景中有效减少了假阴性。
• 在 Pascal VOC 数据集上的实验验证了该框架在其他语义分割任务中的良好泛化能力，表明其具备广泛适用性。
• 与使用标准交叉熵损失和 IoU 损失的基线模型相比，该方法在检测小尺寸或碎片化云区方面表现更优。