[论文解读] Characterization of Industrial Smoke Plumes from Remote Sensing Data

Michael Mommert, Mario Sigel+3 more|arXiv (Cornell University)|Nov 23, 2020

Fire Detection and Safety Systems被引用 9

一句话总结

本文提出了一种深度学习流程，利用免费的全球哨兵-2多光谱卫星数据检测并量化工业烟 plume。通过结合改进的ResNet-50用于检测（准确率94.3%）和U-Net用于语义分割（IoU 0.608，平均面积误差5.6%），该方法能够可靠地识别烟 plume 并估算其面积范围，从而实现对工业排放的大规模监测，作为温室气体排放的代理指标。

ABSTRACT

The major driver of global warming has been identified as the anthropogenic release of greenhouse gas (GHG) emissions from industrial activities. The quantitative monitoring of these emissions is mandatory to fully understand their effect on the Earth's climate and to enforce emission regulations on a large scale. In this work, we investigate the possibility to detect and quantify industrial smoke plumes from globally and freely available multi-band image data from ESA's Sentinel-2 satellites. Using a modified ResNet-50, we can detect smoke plumes of different sizes with an accuracy of 94.3%. The model correctly ignores natural clouds and focuses on those imaging channels that are related to the spectral absorption from aerosols and water vapor, enabling the localization of smoke. We exploit this localization ability and train a U-Net segmentation model on a labeled sub-sample of our data, resulting in an Intersection-over-Union (IoU) metric of 0.608 and an overall accuracy for the detection of any smoke plume of 94.0%; on average, our model can reproduce the area covered by smoke in an image to within 5.6%. The performance of our model is mostly limited by occasional confusion with surface objects, the inability to identify semi-transparent smoke, and human limitations to properly identify smoke based on RGB-only images. Nevertheless, our results enable us to reliably detect and qualitatively estimate the level of smoke activity in order to monitor activity in industrial plants across the globe. Our data set and code base are publicly available.

研究动机与目标

• 开发一种可扩展的、自动化的工业烟 plume 检测方法，利用免费获取的遥感数据。
• 量化烟 plume 的空间范围，作为工业活动和温室气体排放的代理指标。
• 创建一个公开可用的数据集，包含人工标注的工业站点烟 plume 及其分割掩码。
• 通过端到端深度学习克服传统阈值法的局限性，提升在多样化环境条件下的泛化能力。
• 实现对工业排放的大规模、全球范围监测，以支持气候政策和环境监管。

提出的方法

• 使用12波段哨兵-2 Level-2A 反照率数据，训练改进的ResNet-50架构，对卫星图像进行分类，判断是否含有烟 plume。
• 通过基于梯度的显著性图对模型进行解释，结果显示模型主要关注与气溶胶（波段1）、水汽（波段9）和短波红外（波段11）相关的光谱波段。
• 在1,437张标注图像的子集中训练U-Net语义分割模型，以预测像素级的烟 plume 存在性，采用二元交叉熵损失函数和带动量的随机梯度下降法。
• 训练数据包含平衡的正样本（存在烟 plume）和负样本（无烟 plume），验证集和测试集各占50%。
• 通过图像级别检测的准确率和像素级别分割的交并比（IoU）评估模型性能，平均面积误差相对于人工标注结果计算。
• 该方法设计为可适应其他卫星数据和区域，无需人工特征工程，与传统多阈值技术形成对比。

Figure 1: A representative sample of example images. Each column corresponds to a different location; the top row shows locations when a smoke plume is present (positive class), the bottom row shows the same locations during the absence of smoke (negative class). Red circles indicates the approximat

实验结果

研究问题

• RQ1 在多样化的全球环境中，基于哨兵-2多光谱数据训练的深度学习模型能否可靠检测工业烟 plume？
• RQ2 与人工标注的真实情况相比，基于U-Net的分割模型在多大程度上能准确还原烟 plume 的面积范围？
• RQ3 根据模型学习到的注意力机制，哪些光谱波段对烟 plume 存在性最具预测性？
• RQ4 高海拔卷云等大气条件在多大程度上影响检测性能？
• RQ5 分割输出能否作为量化工业活动和估算温室气体排放的可靠代理？

主要发现

• 基于ResNet-50的分类模型在测试集上达到94.3%的检测准确率，大多数情况下能正确区分烟 plume 与自然云层。
• U-Net分割模型的交并比（IoU）得分为0.608，表明与人工标注掩码具有较强的一致性。
• 平均而言，模型在每张含烟 plume 的正样本图像中复现了94.4%的烟覆盖面积，与人工标注相比平均绝对误差为5.6%。
• 模型的注意力主要集中在与气溶胶（波段1）、水汽（波段9）和短波红外（波段11）相关的光谱波段，与烟 plume 的已知物理特性一致。
• 性能限制主要源于与半透明烟 plume 和地表物体的混淆，以及人工标注中模糊情况的不一致性。
• 高海拔卷云常导致假阴性，而假阳性则多与训练数据中的人工误标有关。