[논문 리뷰] Characterization of Industrial Smoke Plumes from Remote Sensing Data

Michael Mommert, Mario Sigel외 3명|arXiv (Cornell University)|2020. 11. 23.

Fire Detection and Safety Systems인용 수 9

한 줄 요약

이 논문은 무료로 이용 가능한 글로벌 센티넬-2 다중스펙트럼 위성 데이터를 사용하여 산업 연기 플룸을 탐지하고 정량화하기 위한 딥러닝 파이프라인을 제안한다. 수정된 ResNet-50를 활용한 탐지(94.3% 정확도)와 U-Net을 활용한 의미적 세그멘테이션(이매지온-유니온(IoU) 0.608, 평균 면적 오차 5.6%)을 조합함으로써, 이 방법은 연기 플룸을 신뢰성 있게 식별하고 그 면적을 추정할 수 있으며, 온실가스 배출량의 대체 지표로 산업 배출량의 대규모 모니터링을 가능하게 한다.

ABSTRACT

The major driver of global warming has been identified as the anthropogenic release of greenhouse gas (GHG) emissions from industrial activities. The quantitative monitoring of these emissions is mandatory to fully understand their effect on the Earth's climate and to enforce emission regulations on a large scale. In this work, we investigate the possibility to detect and quantify industrial smoke plumes from globally and freely available multi-band image data from ESA's Sentinel-2 satellites. Using a modified ResNet-50, we can detect smoke plumes of different sizes with an accuracy of 94.3%. The model correctly ignores natural clouds and focuses on those imaging channels that are related to the spectral absorption from aerosols and water vapor, enabling the localization of smoke. We exploit this localization ability and train a U-Net segmentation model on a labeled sub-sample of our data, resulting in an Intersection-over-Union (IoU) metric of 0.608 and an overall accuracy for the detection of any smoke plume of 94.0%; on average, our model can reproduce the area covered by smoke in an image to within 5.6%. The performance of our model is mostly limited by occasional confusion with surface objects, the inability to identify semi-transparent smoke, and human limitations to properly identify smoke based on RGB-only images. Nevertheless, our results enable us to reliably detect and qualitatively estimate the level of smoke activity in order to monitor activity in industrial plants across the globe. Our data set and code base are publicly available.

연구 동기 및 목표

• 자유롭게 이용 가능한 원격 감시 데이터를 활용해 확장 가능하고 자동화된 산업 연기 플룸 탐지 방법을 개발하기 위해.
• 산성 연기 플룸의 공간적 범위를 산업 활동과 온실가스 배출량의 대체 지표로 정량화하기 위해.
• 산업 시설을 대상으로 인간이 수작업으로 레이블링한 연기 플룸과 세그멘테이션 마스크를 포함한 공개 가능한 데이터셋을 구축하기 위해.
• 기존의 임계값 기반 방법의 한계를 극복하기 위해 엔드 투 엔드 딥러닝을 활용해 다양한 환경 조건에서의 일반화 능력을 향상시키기 위해.
• 기후 정책과 환경 규제를 지원하기 위해 산업 배출량의 대규모 글로벌 모니터링을 가능하게 하기 위해.

제안 방법

• 12밴드 센티넬-2 레벨-2A 반사율 데이터를 사용하여, 위성 이미지에 연기 플룸이 포함되어 있는지 여부를 분류하기 위해 수정된 ResNet-50 아키텍처를 훈련시켰다.
• 모델은 기울기 기반 시각화 지도를 통해 해석되었으며, 이는 모델이 에어로졸(밴드 1), 수증기(밴드 9), 및 단파적외선(밴드 11)과 관련된 스펙트럼 밴드에 주로 집중하고 있음을 보여주었다.
• 1,437장의 레이블링된 이미지의 부분집합을 사용하여 이진 교차 엔트로피 손실과 운동량을 가진 확률적 경사 하강법을 사용해, 픽셀 단위의 연기 존재 여부를 예측하는 U-Net 의미적 세그멘테이션 모델을 훈련시켰다.
• 훈련 데이터는 균형 잡힌 양성(연기 존재) 및 음성(연기 없음) 샘플을 포함하며, 검증 및 테스트 세트는 각각 50%로 유지되었다.
• 모델 성능은 이미지 수준의 탐지에 대해 정확도, 픽셀 수준의 세그멘테이션에 대해 교차합집합(IoU)을 사용하여 평가되었으며, 평균 면적 오차는 인간 레이블링과의 비교 기반으로 계산되었다.
• 이 방법은 기존의 다중 임계값 기반 기술과 달리 수작업 특징 엔지니어링 없이도 다른 위성 데이터 및 지역에 쉽게 적용 가능하도록 설계되었다.

Figure 1: A representative sample of example images. Each column corresponds to a different location; the top row shows locations when a smoke plume is present (positive class), the bottom row shows the same locations during the absence of smoke (negative class). Red circles indicates the approximat

실험 결과

연구 질문

• RQ1 센티넬-2 다중스펙트럼 데이터를 기반으로 훈련된 딥러닝 모델이 다양한 글로벌 환경에서 산업 연기 플룸을 신뢰성 있게 탐지할 수 있는가?
• RQ2 U-Net 기반 세그멘테이션 모델이 인간 레이블링 기반 참값과 비교해 얼마나 정확하게 연기 플룸의 면적을 재현할 수 있는가?
• RQ3 모델의 학습된 주의 메커니즘에 따르면, 어느 스펙트럼 밴드가 연기 플룸 존재에 가장 예측 가능한가?
• RQ4 고도가 높은 고리운 구름와 같은 대기 조건이 탐지 성능에 어떤 영향을 미치는가?
• RQ5 세그멘테이션 출력이 산업 활동 정량화와 온실가스 배출량 추정에 신뢰할 수 있는 대체 지표로 활용될 수 있는가?

주요 결과

• ResNet-50 기반 분류 모델은 테스트 세트에서 94.3%의 탐지 정확도를 달성하여 대부분의 경우 연기와 자연적 구름를 잘 구분했다.
• U-Net 세그멘테이션 모델은 교차합집합(IoU) 점수 0.608을 기록하여 인간 레이블링 마스크와 강한 일치를 보였다.
• 평균적으로 모델은 각 양성 이미지의 94.4%의 연기 커버리지 면적을 재현하였으며, 인간 레이블링과 비교해 평균 절대 오차 5.6%를 기록했다.
• 모델의 주의 집중 영역은 에어로졸(밴드 1), 수증기(밴드 9), 및 단파적외선(밴드 11)과 관련된 스펙트럼 밴드에 주로 집중되어 있었으며, 이는 연기 플룸의 알려진 물리적 성질과 일치했다.
• 성능 한계의 주요 원인은 반투명 연기와 표면 물체에 대한 혼동, 그리고 모호한 케이스에서 인간의 레이블링 불일치였다.
• 고도가 높은 고리운 구름는 자주 거짓 음성 결과를 유도하지만, 거짓 양성 결과는 주로 훈련 데이터에서 인간의 잘못된 레이블링과 관련이 있었다.