[논문 리뷰] Machine Vision for Natural Gas Methane Emissions Detection Using an Infrared Camera

Jingfan Wang, Lyne P. Tchapmi외 6명|arXiv (Cornell University)|2019. 04. 01.

Atmospheric and Environmental Gas Dynamics참고 문헌 51인용 수 13

한 줄 요약

이 논문은 다양한 누출 조건에서 100만 장의 레이블이 부여된 프레임을 훈련 데이터로 사용한 컨볼루션 신경망(CNN) 기반의 딥러닝 컴퓨터 비전 시스템인 GasNet을 제안한다. 이 방법은 적외선(IR) 영상에서 메탄 누출을 자동으로 탐지하며, 최대 99%의 탐지 정확도를 달성했으며, 모든 누출 크기와 거리에서 95% 이상의 총합 정확도를 확보한다. 특히 근거리에서는 94% 이상, 대규모 누출의 장거리 탐지에서는 >95%의 정확도를 기록하여 수동 OGI 조사에 비해 크게 향상된 성능을 보였다.

ABSTRACT

It is crucial to reduce natural gas methane emissions, which can potentially offset the climate benefits of replacing coal with gas. Optical gas imaging (OGI) is a widely-used method to detect methane leaks, but is labor-intensive and cannot provide leak detection results without operators' judgment. In this paper, we develop a computer vision approach to OGI-based leak detection using convolutional neural networks (CNN) trained on methane leak images to enable automatic detection. First, we collect ~1 M frames of labeled video of methane leaks from different leaking equipment for building CNN model, covering a wide range of leak sizes (5.3-2051.6 gCH4/h) and imaging distances (4.6-15.6 m). Second, we examine different background subtraction methods to extract the methane plume in the foreground. Third, we then test three CNN model variants, collectively called GasNet, to detect plumes in videos taken at other pieces of leaking equipment. We assess the ability of GasNet to perform leak detection by comparing it to a baseline method that uses optical-flow based change detection algorithm. We explore the sensitivity of results to the CNN structure, with a moderate-complexity variant performing best across distances. We find that the detection accuracy can reach as high as 99%, the overall detection accuracy can exceed 95% for a case across all leak sizes and imaging distances. Binary detection accuracy exceeds 97% for large leaks (~710 gCH4/h) imaged closely (~5-7 m). At closer imaging distances (~5-10 m), CNN-based models have greater than 94% accuracy across all leak sizes. At farthest distances (~13-16 m), performance degrades rapidly, but it can achieve above 95% accuracy to detect large leaks (>950 gCH4/h). The GasNet-based computer vision approach could be deployed in OGI surveys to allow automatic vigilance of methane leak detection with high detection accuracy in the real world.

연구 동기 및 목표

• 수동 광학 가스 영상(OGI) 조사의 높은 노동 비용과 일관성 부족 문제를 해결하기 위해.
• 인간 운영자의 판단 없이도 실시간으로 적외선 영상에서 메탄 플룸을 탐지할 수 있는 자동화된 컴퓨터 비전 기반 시스템을 개발하기 위해.
• 다양한 누출 크기(5.3–2051.6 g CH4/h)와 영상 거리(4.6–15.6 m)에서의 탐지 정확도를 향상시키기 위해.
• 실생활 조건에서의 강력한 누출 탐지 성능을 확보하기 위해 다양한 CNN 아키텍처와 배경 제거 기법의 성능을 평가하기 위해.
• 석유 및 가스 시설에서 지속적인 모니터링을 위한 확장 가능한 자동 누출 탐지 시스템을 제공하기 위해.

제안 방법

• 저자들은 다양한 장비 유형, 누출 속도, 영상 거리에서 제어된 메탄 누출을 바탕으로 약 100만 장의 레이블이 부여된 IR 영상 프레임의 대규모 데이터셋을 수집했다.
• 정적 환경에서 메탄 플룸을 분리하기 위해 이동 평균 필터링을 사용한 배경 제거 기법을 적용하여 모델 훈련을 위한 플룸 시각화를 향상시켰다.
• 세 가지 변종의 CNN 아키텍처를 결합하여 이름 붙인 GasNet이라는 이름의 세 가지 모델을 개발하고, IR 영상 시퀀스에서의 누출 탐지 성능을 평가했다.
• 다양한 영상 조건과 누출 크기에서의 검증 성능을 바탕으로 가장 우수한 성능을 보인 모델인 GasNet-2를 선정했다.
• 모델 평가에서는 GasNet의 탐지 정확도와 강건성을 평가하기 위해 기준 기반의 광학 흐름 기반 변화 탐지 방법과 비교했다.
• 세 가지 데이터 전략 변형(거리/누출 크기별 별도 모델, 통합 모델, 통합된 하나의 모델)을 훈련 및 테스트하여, 통합 모델이 가장 우수한 일반화 성능를 보여주었다.

실험 결과

연구 질문

• RQ1 다양한 영상 거리와 누출 크기에서 훈련된 딥러닝 모델이 높은 정확도로 자동으로 메탄 누출을 탐지할 수 있는가?
• RQ2 배경 제거 방법의 선택이 IR 영상에서 CNN 기반 누출 탐지 성능에 미치는 영향은 어떠한가?
• RQ3 실생활 누출 탐지 시나리오에서 정확도와 일반화 능력의 균형을 고려할 때 최적의 CNN 아키텍처 복잡도는 무엇인가?
• RQ4 영상 거리가 탐지 정확도에 미치는 영향는 어떠한가? 장거리에서도 높은 성능을 유지할 수 있는가?
• RQ5 다양한 누출 크기와 거리에서의 데이터를 기반으로 훈련된 단일 통합 모델이 과적합 없이 효과적으로 일반화될 수 있는가?

주요 결과

• GasNet 기반의 컴퓨터 비전 시스템은 테스트 세트에서 최대 99%의 탐지 정확도를 달성했으며, 모든 누출 크기와 영상 거리에서 95% 이상의 총합 정확도를 확보했다.
• 근거리 영상 거리(5–10 m)에서는 모든 누출 크기에서 94% 이상의 탐지 정확도를 유지하여 유리한 조건에서의 강건성을 입증했다.
• 대규모 누출(>950 g CH4/h)의 경우, 가장 긴 영상 거리(13–16 m)에서도 탐지 정확도가 95%를 초과하여 고배출원의 성능이 뛰어나다는 것을 확인했다.
• 모든 조합의 누출 크기와 거리에 대해 훈련된 통합 훈련 전략(방법 3)이 별도의 모델보다 우수한 성능를 보였으며, 일반화 오차 감소와 데이터 다양성 증가로 인해 성능 향상이 예상된다.
• 작은 누출의 경우 장거리에서 픽셀 수가 감소함에 따라 탐지 정확도가 크게 떨어졌으며, 이는 영상 거리가 성능에 가장 중요한 요소임을 시사한다.
• 이동 평균 배경 제거 방법은 단순한 방법 대비 장거리에서 3.8–6.1% 향상된 탐지 성능를 기록하여 플룸 분리에 있어 그 가치를 확인했다.