[論文レビュー] Rapid Deforestation and Burned Area Detection using Deep Multimodal Learning on Satellite Imagery

Gábor Fodor, Marcos V. Conde|arXiv (Cornell University)|Jul 10, 2023

Remote-Sensing Image Classification被引用数 5

ひとこと要約

本論文は、Sentinel、Landsat、VIIRS、MODISのマルチスペクトルおよびSAR衛星画像を統合する深層マルチモーダル学習フレームワークを提案し、アマゾン熱帯雨林における森林伐採および焼失地域の検出を目的としている。時間的・空間的データ拡張および衛星入力ドロップアウトを用いたマルチスケジュール・マルチセンサー画像を用いた1つの畳み込みニューラルネットワークの訓練により、未観測のテストデータで90.8%のピクセル精度、0.876のF1スコア、0.799のIoUを達成し、MultiEarth 2023ベンチマークにおいて先行手法を上回った。

ABSTRACT

Deforestation estimation and fire detection in the Amazon forest poses a significant challenge due to the vast size of the area and the limited accessibility. However, these are crucial problems that lead to severe environmental consequences, including climate change, global warming, and biodiversity loss. To effectively address this problem, multimodal satellite imagery and remote sensing offer a promising solution for estimating deforestation and detecting wildfire in the Amazonia region. This research paper introduces a new curated dataset and a deep learning-based approach to solve these problems using convolutional neural networks (CNNs) and comprehensive data processing techniques. Our dataset includes curated images and diverse channel bands from Sentinel, Landsat, VIIRS, and MODIS satellites. We design the dataset considering different spatial and temporal resolution requirements. Our method successfully achieves high-precision deforestation estimation and burned area detection on unseen images from the region. Our code, models and dataset are open source: https://github.com/h2oai/cvpr-multiearth-deforestation-segmentation

研究の動機と目的

• リモートセンシングを用いて、大規模かつアクセス困難なアマゾン熱帯雨林における森林伐採および野火の検出に取り組むこと。
• 曇りや欠損データ、マルチセンサーの時間的・スペクトル的ばらつきに耐えうる、堅牢で一般化可能な深層学習モデルの開発。
• 森林伐採および火災検出研究のためのキュレートされたマルチセンサー衛星データセットの作成および公開。
• マルチモーダル衛星画像を用いて、高精度なピクセル単位の森林伐採および焼失地域のセグメンテーションを実現すること。
• 低解像度で時間的に高密度な衛星データ（例：FIRMS、Fire CCI）を用いたグローバルスケールの火災検出の可能性を実証すること。

提案手法

• 本手法は、Sentinel-1、Sentinel-2、Landsat-8、その他のソースからのマルチチャネルでマルチスケジュールの衛星画像を用いた1つの深層ニューラルネットワークを採用し、各グランドトゥルースマスクの±2か月以内のバンドを選択する。
• データ漏れを回避するため、グリッドベースの分割を用いた空間的クロスバリデーションを用いてテストデータをシミュレートする。
• AdamW最適化法とコサイン学習率スケジューリングを用いたバイナリクロスエントロピー損失関数で10エポックにわたり訓練し、水平・垂直反転、転置、90°回転によるデータ拡張を実施する。
• 訓練中に衛星入力ドロップアウトを適用し、最大50%の利用可能な日付をランダムにマスキングすることで、欠損データが生じるテストクエリへの耐性を高める。
• 火災検出のため、2020年をバリデーションセットとする時間的バリデーション分割を用い、すべてのデータをFire CCI焼失地域製品の解像度に合わせてアップスケーリングする。
• バイナリゼーションの前段階で、わずかに異なるアーキテクチャを持つ複数のモデルの予測をアンサンブル化することで、単一モデルよりも性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 雲の影響やデータギャップが生じる中でも、マルチセンサー・マルチスケジュールの衛星画像を統合できる統一された深層学習モデルが、アマゾンにおける森林伐採を高い精度で検出できるか？
• RQ2 訓練中に衛星入力ドロップアウトを適用することで、データが乏しい未観測地域への一般化性能がどのように向上するか？
• RQ3 低解像度で時間的密度の高い火災検出データ（例：FIRMS、Fire CCI）を活用することで、正確なグローバル火災セグメンテーションモデルを訓練できる程度はどの程度か？
• RQ4 異なる衛星バンドを統合して訓練された1つの深層ニューラルネットワークが、センサーごとに別々のモデルを用意せずとも、森林伐採セグメンテーションで最先端の性能を達成できるか？
• RQ5 マルチモーダル森林伐採検出において、モデルアンサンブル化とプリバイナリゼーションブレンドの組み合わせによる性能向上はどの程度か？

主な発見

• 最良の単一モデルは、MultiEarth 2023データセットの未観測テストセットで90.4%のピクセル精度、0.871のF1スコア、0.792の交差率（IoU）を達成した。
• わずかに異なるアーキテクチャを持つ複数のモデルをアンサンブル化することで、ピクセル精度が90.8%、F1スコアが0.876、IoUが0.799に向上した。
• MultiEarth 2023の森林伐開セグメンテーションチャレンジにおいて、他のすべての参加者を上回り、全体で2位の順位を獲得した。
• 火災検出において、南米全域の8年間分の衛星データを用いて訓練したモデルは、時間的バリデーションと解像度の整合化を経て、ピクセル単位のAUCが0.95を達成した。
• 本研究で提示されたデータセットおよびコードベースはGitHubで公開されており、再現性が保たれ、他の地域や応用分野への拡張が可能である。
• 衛星入力ドロップアウトの導入により、欠損データに対する耐性が顕著に向上し、この正則化を用いないモデルを上回った。