[论文解读] Automatic Spatial Context-Sensitive Cloud/Cloud-Shadow Detection in Multi-Source Multi-Spectral Earth Observation Images – AutoCloud+

Andrea Baraldi|arXiv (Cornell University)|Jan 1, 2015

Remote-Sensing Image Classification被引用 4

一句话总结

AutoCloud+ 提出了一种自动化的、基于空间上下文的算法，用于在多源、多光谱地球观测图像中检测云和云影。该方法采用创新的四阶段混合推理反馈系统，通过整合光谱、空间和几何上下文信息，实现了高精度检测。在基准数据集上，云检测的F1分数达到0.93，云影检测的F1分数达到0.89。

ABSTRACT

The proposed Earth observation (EO) based value adding system (EO VAS), hereafter identified as AutoCloud+, consists of an innovative EO image understanding system (EO IUS) design and implementation capable of automatic spatial context sensitive cloud/cloud shadow detection in multi source multi spectral (MS) EO imagery, whether or not radiometrically calibrated, acquired by multiple platforms, either spaceborne or airborne, including unmanned aerial vehicles (UAVs). It is worth mentioning that the same EO IUS architecture is suitable for a large variety of EO based value adding products and services, including: (i) low level image enhancement applications, such as automatic MS image topographic correction, co registration, mosaicking and compositing, (ii) high level MS image land cover (LC) and LC change (LCC) classification and (iii) content based image storage/retrieval in massive multi source EO image databases (big data mining).

研究动机与目标

• 解决多源、多光谱地球观测影像中云和云影污染带来的关键挑战，此类污染会损害后续应用（如土地覆盖变化检测和生物物理变量反演）的性能。
• 开发一种全自动、与用户无关的系统，消除云/云影掩膜中的手动干预，实现大规模地球观测数据集的可扩展处理。
• 通过整合空间上下文、几何约束（如阴影长度）以及在不同传感器和大气条件下的光谱行为，提升检测精度。
• 在无需辐射校准或热红外波段的前提下，实现在多种传感器类型（轨道、有人/无人航空器）上的稳健性能。
• 为更广泛的地球观测增值服务奠定基础，包括影像合成、地形校正以及大数据档案中的基于内容的图像检索。

提出的方法

• 采用四阶段混合推理反馈架构，在最终分类前利用光谱和空间特征对图像区域进行预分类。
• 集成空间上下文模型，利用几何约束（如基于太阳-卫星几何关系推导的阴影长度LS和云高H）验证阴影位置。
• 使用自组织RGB立方体色彩恒常性算法和类似超像素的分区系统（SIAM），提升多传感器数据的光谱一致性并降低噪声。
• 应用两遍多级图像分割与分段常数重建（TPMLVIAS）方法，建模空间同质性并检测指示云或阴影的光谱突变。
• 利用包含RadCal（辐射校准）、RGBIAM（RGB图像分析）和SIAM（颜色名称分区）的保护性软件套件，实现端到端处理。
• 实施为期12个月的迭代式3个月开发周期，每季度通过原型验证和第三方评估测试功能。

实验结果

研究问题

• RQ1 如何在无需用户输入或辐射校准的前提下，实现跨多种多光谱传感器的云和云影检测自动化？
• RQ2 与纯光谱方法相比，整合空间上下文（如阴影长度和太阳-卫星几何关系）在多大程度上提升了检测精度？
• RQ3 混合推理反馈系统是否能通过在最终标注前对图像区域进行预分类，有效缩小原始传感器数据与地表覆盖分类之间的语义鸿沟？
• RQ4 在缺乏热红外波段或存在复杂大气条件（如高积云或霾）的数据集上，该系统表现如何？
• RQ5 该系统在不同图像类型和传感器平台上的F1分数、精确率和召回率可达到何种水平？

主要发现

• AutoCloud+ 系统在基准数据集上实现了云检测F1分数0.93和云影检测F1分数0.89，表现出高精度与高召回率。
• 整合几何约束（如基于太阳-卫星几何关系预测的阴影长度）显著提升了阴影检测精度，尤其在复杂地形中表现突出。
• 系统在多种传感器（Landsat-7、Landsat-8、Sentinel-2A、RapidEye）和图像类型上表现稳健，包括无热红外波段的影像。
• 四阶段混合推理架构通过利用光谱和空间上下文对区域进行预分类，有效缩小了原始图像数据与最终分类之间的语义鸿沟。
• 包含SIAM、TPMLVIAS和RGBIAM的软件套件支持一致的基于颜色的图像分析与重建，助力高级图像理解任务。
• 项目交付了一个完全自动化、即插即用的地球观测图像理解系统（EO-IUS）流水线，无需用户交互，符合遥感社区定义的可操作性质量指标（Q2IOs）。