[論文レビュー] Characterization of Industrial Smoke Plumes from Remote Sensing Data

Michael Mommert, Mario Sigel+3 more|arXiv (Cornell University)|Nov 23, 2020

Fire Detection and Safety Systems被引用数 9

ひとこと要約

本論文では、無料で利用可能なグローバルなSentinel-2マルチスペクトル衛星データを用いて、産業用煙害を検出・定量するためのディープラーニングパイプラインを提案する。検出に修正されたResNet-50（94.3％の正確性）とセマンティックセグメンテーションにU-Net（IoU 0.608、平均面積誤差5.6％）を組み合わせることで、煙害の存在を信頼性高く特定し、その空間的広がりを推定可能となる。これにより、温室効果ガス排出量の代理指標として、大規模な産業排出モニタリングが可能となる。

ABSTRACT

The major driver of global warming has been identified as the anthropogenic release of greenhouse gas (GHG) emissions from industrial activities. The quantitative monitoring of these emissions is mandatory to fully understand their effect on the Earth's climate and to enforce emission regulations on a large scale. In this work, we investigate the possibility to detect and quantify industrial smoke plumes from globally and freely available multi-band image data from ESA's Sentinel-2 satellites. Using a modified ResNet-50, we can detect smoke plumes of different sizes with an accuracy of 94.3%. The model correctly ignores natural clouds and focuses on those imaging channels that are related to the spectral absorption from aerosols and water vapor, enabling the localization of smoke. We exploit this localization ability and train a U-Net segmentation model on a labeled sub-sample of our data, resulting in an Intersection-over-Union (IoU) metric of 0.608 and an overall accuracy for the detection of any smoke plume of 94.0%; on average, our model can reproduce the area covered by smoke in an image to within 5.6%. The performance of our model is mostly limited by occasional confusion with surface objects, the inability to identify semi-transparent smoke, and human limitations to properly identify smoke based on RGB-only images. Nevertheless, our results enable us to reliably detect and qualitatively estimate the level of smoke activity in order to monitor activity in industrial plants across the globe. Our data set and code base are publicly available.

研究の動機と目的

• 自由に利用可能なリモートセンシングデータを用いて、スケーラブルで自動化された産業用煙害の検出手法を開発すること。
• 煙害の空間的広がりを、産業活動および温室効果ガス排出量の代理指標として定量すること。
• 産業施設の煙害を人間がアノテートした画像とセグメンテーションマスクを含む、公開可能なデータセットを構築すること。
• 従来のしきい値処理手法の限界を克服し、エンドツーエンドのディープラーニングを活用することで、多様な環境条件下でも一般化性の高い性能を実現すること。
• 気候政策および環境規制を支援するため、大規模かつグローバルな産業排出モニタリングを可能にすること。

提案手法

• 12バンドのSentinel-2 Level-2A反射率データを用いて、修正されたResNet-50アーキテクチャを訓練し、衛星画像が煙害を含むか否かを分類する。
• 勾配に基づくサリエンシーマップを用いた解釈により、モデルがエアロゾル（バンド1）、水蒸気（バンド9）、短波長赤外（バンド11）に関連するスペクトルバンドに注目していることが判明した。
• 1,437枚のアノテート済み画像のサブセットを用いて、バイナリクロスエントロピー損失とモーメンタムを用いた確率的勾配降下法を用いて、U-Netのセマンティックセグメンテーションモデルを訓練した。
• トレーニングデータには、バランスの取れた陽性（煙が存在）および陰性（煙なし）のサンプルが含まれており、検証およびテスト分割はそれぞれ50％に維持された。
• モデルの性能は、画像レベルの検出には正確性、ピクセルレベルのセグメンテーションには交差和集合（IoU）を用いて評価され、平均面積誤差は人間のアノテーションと比較して算出された。
• 従来のマルチしきい値処理手法とは異なり、手動の特徴工学が不要なため、他の衛星データや地域に対しても容易に適応可能である。

Figure 1: A representative sample of example images. Each column corresponds to a different location; the top row shows locations when a smoke plume is present (positive class), the bottom row shows the same locations during the absence of smoke (negative class). Red circles indicates the approximat

実験結果

リサーチクエスチョン

• RQ1 Sentinel-2マルチスペクトルデータでトレーニングされたディープラーニングモデルは、多様なグローバル環境において、産業用煙害を信頼性高く検出できるか？
• RQ2 U-Netベースのセグメンテーションモデルは、人間がアノテートした真値と比較して、煙害の空間的広がりをどの程度正確に再現できるか？
• RQ3 モデルが学習した注目メカニズムによると、どのスペクトルバンドが煙害の存在に対して予測性が最も高いか？
• RQ4 高高度の高積乱雲などの大気状態は、検出性能にどのように影響を与えるか？
• RQ5 セグメンテーション出力は、産業活動の定量的評価および温室効果ガス排出量の推定に信頼できる代理指標として機能できるか？

主な発見

• ResNet-50ベースの分類モデルは、テストセットで94.3％の検出正確性を達成し、多くの場合で自然雲と煙害を正しく区別できた。
• U-Netセグメンテーションモデルは、交差和集合（IoU）スコアが0.608に達し、人間がアノテートしたマスクと強い一致を示した。
• 平均して、モデルは陽性画像ごとに94.4％の煙被覆面積を再現し、人間のアノテーションと比較して平均絶対誤差5.6％を示した。
• モデルの注目は、エアロゾル（バンド1）、水蒸気（バンド9）、短波長赤外（バンド11）に関連するスペクトルバンドに主に向けられており、煙害の既知の物理的特性と整合した。
• 性能の制限要因は、半透明な煙や表面オブジェクトとの混同、および曖昧なケースにおける人間のラベル付けの不一致に起因している。
• 高高度の高積乱雲は頻繁に偽陰性を引き起こす一方、偽陽性は主にトレーニングデータにおける人間の誤ラベル付けに起因している。