[논문 리뷰] METER-ML: A Multi-Sensor Earth Observation Benchmark for Automated Methane Source Mapping

Bryan Zhu, Nicholas Lui외 8명|arXiv (Cornell University)|2022. 07. 22.

Atmospheric and Environmental Gas Dynamics인용 수 9

한 줄 요약

METER-ML은 미국 전역에 걸쳐 86,599개의 지리적 기준을 갖춘 NAIP, Sentinel-1 및 Sentinel-2 이미지를 포함하는 대규모 다중 센서 지구 관측 기준 데이터셋으로, 6종의 메탄 유출 시설 유형에 대해 레이블링되어 있다. 최고의 모델은 농장 집중 사육 시설(CAFO)에 대해 F1 점수 0.915를, 정유소 및 터미널에 대해 0.821을 기록하여 딥 러닝을 활용한 자동화되고 확장 가능한 메탄 원천 지ap핑의 강력한 잠재력을 보여준다.

ABSTRACT

Reducing methane emissions is essential for mitigating global warming. To attribute methane emissions to their sources, a comprehensive dataset of methane source infrastructure is necessary. Recent advancements with deep learning on remotely sensed imagery have the potential to identify the locations and characteristics of methane sources, but there is a substantial lack of publicly available data to enable machine learning researchers and practitioners to build automated mapping approaches. To help fill this gap, we construct a multi-sensor dataset called METER-ML containing 86,599 georeferenced NAIP, Sentinel-1, and Sentinel-2 images in the U.S. labeled for the presence or absence of methane source facilities including concentrated animal feeding operations, coal mines, landfills, natural gas processing plants, oil refineries and petroleum terminals, and wastewater treatment plants. We experiment with a variety of models that leverage different spatial resolutions, spatial footprints, image products, and spectral bands. We find that our best model achieves an area under the precision recall curve of 0.915 for identifying concentrated animal feeding operations and 0.821 for oil refineries and petroleum terminals on an expert-labeled test set, suggesting the potential for large-scale mapping. We make METER-ML freely available at https://stanfordmlgroup.github.io/projects/meter-ml/ to support future work on automated methane source mapping.

연구 동기 및 목표

• 메탄 유출 시설을 위한 공개 가능하고 레이블링된 지구 관측 데이터셋의 부족으로 인해 자동 지도 제작 도구의 개발이 저해되고 있다는 문제를 해결하기 위해.
• 6종의 메탄 원천 카테고리에 대해 전문가가 검증한 레이블을 포함한 지리적 기준을 갖춘 종합적인 기준 데이터셋을 구축하기 위해.
• 이미지 제품, 스펙트럼 대역, 공간 해상도 및 영상 피처의 영향을 평가하여 자동 시설 탐지 성능에 미치는 영향을 분석하기 위해.
• 기계 학습을 활용한 확장 가능한 데이터 기반 메탄 원천 기여도 분석을 지원하기 위해 글로벌 METER 이니셔티브에 기여하기 위해.

제안 방법

• 6종의 메탄 유출 시설 유형(농장 집중 사육 시설, 석탄 광산, 매립지, 천연가스 정제 공장, 정유소 및 터미널, 폐수 처리 시설)에 대한 공공의 시설 위치 데이터를 수집하여 데이터셋을 구성한다.
• NAIP(고해상도 항공 영상), Sentinel-1(레이다), Sentinel-2(광학 영상)의 지리적 기준 영상 데이터를 확보하고 동일한 지리적 좌표로 정렬한다.
• 각 영상은 6종의 시설 유형 중 하나 이상의 존재 여부에 대해 레이블링되며, 음성 예측 34,870건과 다중 레이블 인스턴스가 포함되어 있다.
• 다양한 조합의 이미지 제품, 스펙트럼 대역, 공간 피처 및 해상도를 사용하여 DenseNet121를 포함한 다양한 딥 러닝 모델을 훈련 및 평가한다.
• 정밀도-재현율 AUC를 주요 평가 지표로 사용하여 전문가 검증 테스트 세트를 기반으로 모델 성능을 평가한다.
• 단일 센서(예: NAIP 전용) 및 다중 센서(예: NAIP + S1 + S2) 입력을 사용한 모델을 비교하여 융합의 이점 여부를 평가한다.

실험 결과

연구 질문

• RQ1 원격 감지 영상 제품의 선택(NAIP, Sentinel-1, Sentinel-2)이 메탄 원천 식별 성능에 미치는 영향은 어떠한가?
• RQ2 공간 해상도와 영상 피처 크기의 영향은 시설 탐지 모델 정확도에 어떤 영향을 미치는가?
• RQ3 다양한 스펙트럼 대역과 센서 유형(광학 대비 레이다) 조합이 메탄 원천 카테고리 전반에서 모델 성능에 미치는 영향은 어떠한가?
• RQ4 다중 센서 융합은 단일 센서 모델 대비 탐지 성능 향상을 이끌 수 있는가? 어떤 센서 조합이 가장 우수한 성능을 내는가?
• RQ5 미국 데이터로 훈련된 모델이 다른 지역으로 일반화되는 정도는 어떠한가? 특히 Sentinel-1 및 Sentinel-2와 같은 저해상도 글로벌 센서에 대해서는?

주요 결과

• 모든 4개의 스펙트럼 대역을 사용한 NAIP 영상만을 활용한 최고의 모델은 농장 집중 사육 시설(CAFO) 식별에 대해 정밀도-재현율 AUC 0.915를 기록한다.
• NAIP, Sentinel-2 및 Sentinel-1 영상을 모두 사용한 통합 모델은 NAIP 전용 모델에 이어 뛰어난 성능을 보이며, 다중 센서 융합의 가치를 입증한다.
• 가장 높은 공간 해상도와 가장 큰 영상 피처가 전체 탐지 성능을 최고로 이끌지만, 이는 시설 유형에 따라 다를 수 있다.
• 천연가스 정제 공장 및 매립지 식별에 대해서는 성능이 상당히 낮아 배경 특징과의 구분에 어려움이 있음을 시사한다.
• 단지 Sentinel-1 및 Sentinel-2 데이터만을 사용해도 CAFO 및 정유소 및 터미널에 대해 높은 성능을 유지함으로써, 공개 가능하고 저해상도 데이터를 활용한 글로벌 스케일 지도 제작의 잠재력이 있음을 시사한다.
• 이 데이터셋은 Zenodo에 공개되어 향후 자동 메탄 원천 지도 제작 및 기후 변화 완화 연구를 지원한다.