[论文解读] METER-ML: A Multi-Sensor Earth Observation Benchmark for Automated Methane Source Mapping

Bryan Zhu, Nicholas Lui+8 more|arXiv (Cornell University)|Jul 22, 2022

Atmospheric and Environmental Gas Dynamics被引用 9

一句话总结

METER-ML 是一个大规模、多传感器地球观测基准数据集，包含美国境内86,599幅地理配准的NAIP、Sentinel-1和Sentinel-2影像，涵盖六类甲烷排放基础设施，已进行标注。最佳模型在集中式动物养殖场（CAFOs）上的F1分数达到0.915，在炼油厂和终端设施上的F1分数达到0.821，表明利用深度学习实现自动化、可扩展的甲烷源制图具有强大潜力。

ABSTRACT

Reducing methane emissions is essential for mitigating global warming. To attribute methane emissions to their sources, a comprehensive dataset of methane source infrastructure is necessary. Recent advancements with deep learning on remotely sensed imagery have the potential to identify the locations and characteristics of methane sources, but there is a substantial lack of publicly available data to enable machine learning researchers and practitioners to build automated mapping approaches. To help fill this gap, we construct a multi-sensor dataset called METER-ML containing 86,599 georeferenced NAIP, Sentinel-1, and Sentinel-2 images in the U.S. labeled for the presence or absence of methane source facilities including concentrated animal feeding operations, coal mines, landfills, natural gas processing plants, oil refineries and petroleum terminals, and wastewater treatment plants. We experiment with a variety of models that leverage different spatial resolutions, spatial footprints, image products, and spectral bands. We find that our best model achieves an area under the precision recall curve of 0.915 for identifying concentrated animal feeding operations and 0.821 for oil refineries and petroleum terminals on an expert-labeled test set, suggesting the potential for large-scale mapping. We make METER-ML freely available at https://stanfordmlgroup.github.io/projects/meter-ml/ to support future work on automated methane source mapping.

研究动机与目标

• 为解决缺乏公开可用、已标注的甲烷排放基础设施地球观测数据集的问题，此类问题阻碍了自动化制图工具的发展。
• 创建一个全面的、地理配准的基准数据集，整合多传感器影像（NAIP、Sentinel-1、Sentinel-2）与专家验证的六类甲烷源类别的标签。
• 评估影像产品、光谱波段、空间分辨率和影像覆盖范围对自动化基础设施检测模型性能的影响。
• 通过支持全球METER计划，实现利用机器学习进行可扩展、数据驱动的甲烷源归因。

提出的方法

• 通过聚合六类甲烷排放基础设施的公开基础设施位置数据构建数据集：CAFOs、煤矿、垃圾填埋场、天然气处理厂、炼油厂与终端设施、污水处理厂。
• 收集并配准来自NAIP（高分辨率航空影像）、Sentinel-1（雷达）和Sentinel-2（光学）的地理配准影像，确保所有影像对齐至相同的地理坐标。
• 每幅影像均标注六类基础设施中任一类的存在或缺失情况，包含34,870个负样本和部分多标签样本。
• 训练并评估多种深度学习模型，包括DenseNet121，采用不同组合的影像产品、光谱波段、空间覆盖范围和分辨率。
• 使用专家验证的测试集评估模型性能，以精确率-召回率AUC为主要指标。
• 比较仅使用单传感器（如仅NAIP）和多传感器（如NAIP + S1 + S2）输入的模型，以评估融合带来的增益。

实验结果

研究问题

• RQ1 遥感影像产品（NAIP、Sentinel-1、Sentinel-2）的选择如何影响模型在识别甲烷源方面的性能？
• RQ2 空间分辨率和影像覆盖范围大小对基础设施检测模型准确率的影响是什么？
• RQ3 不同光谱波段与传感器类型（光学与雷达）的组合如何影响各类甲烷源类别下的模型性能？
• RQ4 与单传感器模型相比，多传感器融合是否能提升检测性能？哪些传感器组合能取得最佳结果？
• RQ5 在仅使用S1和S2等全球性低分辨率传感器数据时，基于美国数据训练的模型在其他区域的泛化能力如何？

主要发现

• 表现最佳的模型使用包含全部四个光谱波段的NAIP影像，对集中式动物养殖场（CAFOs）的精确率-召回率AUC达到0.915。
• 联合使用NAIP、Sentinel-2和Sentinel-1影像的模型表现优异，仅次于仅使用NAIP影像的模型，表明多传感器融合具有显著价值。
• 最高空间分辨率和最大影像覆盖范围带来最佳的整体检测性能，尽管该效果在不同基础设施类别间存在差异。
• 在识别天然气处理厂和垃圾填埋场方面，性能显著偏低，表明其与背景特征的区分存在挑战。
• 即使仅使用Sentinel-1和Sentinel-2数据，模型在CAFOs和炼油厂与终端设施上仍保持高性能，表明利用公开获取的低分辨率全球数据实现全球尺度制图具有潜力。
• 该数据集已通过Zenodo公开发布，以支持未来在自动化甲烷源制图和气候变化缓解方面的研究。