[논문 리뷰] Rapid Deforestation and Burned Area Detection using Deep Multimodal Learning on Satellite Imagery

Gábor Fodor, Marcos V. Conde|arXiv (Cornell University)|2023. 07. 10.

Remote-Sensing Image Classification인용 수 5

한 줄 요약

이 논문은 센티넬, 랜드스트, 뷰이IRS, 모드이스의 다중 스펙트럼 및 SAR 위성 영상 데이터를 융합하는 딥 멀티모달 학습 프레임워크를 제안하여 아마존 우림에서의 산림 파괴 및 화재 지역을 탐지한다. 다중 시점, 다중 센서 데이터에 대해 공간적 및 시간적 데이터 증강과 위성 입력 드롭아웃을 적용한 단일 컨볼루션 신경망을 훈련시켜, 검증되지 않은 테스트 데이터에서 90.8% 픽셀 정확도, 0.876 F1 점수, 0.799 IoU를 달성하였으며, MultiEarth 2023 벤치마크에서 이전 방법들을 능가하였다.

ABSTRACT

Deforestation estimation and fire detection in the Amazon forest poses a significant challenge due to the vast size of the area and the limited accessibility. However, these are crucial problems that lead to severe environmental consequences, including climate change, global warming, and biodiversity loss. To effectively address this problem, multimodal satellite imagery and remote sensing offer a promising solution for estimating deforestation and detecting wildfire in the Amazonia region. This research paper introduces a new curated dataset and a deep learning-based approach to solve these problems using convolutional neural networks (CNNs) and comprehensive data processing techniques. Our dataset includes curated images and diverse channel bands from Sentinel, Landsat, VIIRS, and MODIS satellites. We design the dataset considering different spatial and temporal resolution requirements. Our method successfully achieves high-precision deforestation estimation and burned area detection on unseen images from the region. Our code, models and dataset are open source: https://github.com/h2oai/cvpr-multiearth-deforestation-segmentation

연구 동기 및 목표

• 원격 측정 기반으로 대규모이고 접근이 어려운 아마존 우림의 산림 파괴 및 wildfi re 탐지를 해결하기 위해.
• 구름 커버, 누락된 데이터, 다중 센서 시공간 변동성에 대응할 수 있는 강력하고 일반화 가능한 딥 러닝 모델을 개발하기 위해.
• 산림 파괴 및 화재 탐지 연구를 위한 정제된 다중 센서 위성 데이터셋을 구축하고 공개하기 위해.
• 멀티모달 위성 영상 데이터를 활용해 정밀한 픽셀 수준의 산림 파괴 및 화재 지역 분할을 가능하게 하기 위해.
• 저해상도, 고시공간 밀도의 위성 데이터를 사용한 글로벌 규모의 화재 탐지 가능성의 실현 가능성을 입증하기 위해.

제안 방법

• 이 방법은 센티넬-1, 센티넬-2, 랜드스트-8 및 기타 자료에서 온 다중 채널, 다중 시점 위성 영상에 대해 훈련된 단일 딥 신경망을 사용하며, 각 지표 마스크 주변 약 ±2개월 이내의 파장 대역을 선택한다.
• 공간 교차검증을 통해 격자 기반 분할을 사용하여 테스트 데이터를 시뮬레이션하며, 훈련 세트 내 고공간-시간 상관관계로 인한 데이터 泄漏를 방지한다.
• AdamW 옵timizer와 코사인 학습률 스케줄링을 사용한 이진 교차 엔트로피 손실을 10 에포크 동안 사용하여 모델을 훈련시키며, 수평/수직 반전, 전치, 90도 회전을 통한 데이터 증강을 적용한다.
• 훈련 중에 위성 입력 드롭아웃을 적용하여 가용한 영상 일자 중 최대 50%를 무작위로 마스킹함으로써, 테스트 쿼리에서 누락된 데이터에 대한 강건성을 향상시킨다.
• 화재 탐지에 대해서는 2020년을 검증 세트로 사용하는 시간적 검증 분할을 사용하며, 모든 데이터를 화재 CCI 화재 영역 제품의 해상도에 맞추어 확대한다.
• 이진화 이전에 원시 예측에 대해 모델 앙상블을 적용하여 단일 모델 대비 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 구름 커버와 데이터 누락에도 불구하고, 다중 센서, 다중 시점 위성 영상 데이터를 효과적으로 통합하여 아마존에서 산림 파괴를 고정확도로 탐지할 수 있는 통합된 딥 러닝 모델이 가능한가?
• RQ2 훈련 중에 위성 입력 드롭아웃을 적용함으로써, 데이터가 적은 테스트 영역에 대한 일반화 능력은 어떻게 향상되는가?
• RQ3 저해상도, 고시공간 밀도의 화재 탐지 데이터(예: FIRMS, Fire CCI)는 얼마나 정확한 글로벌 화재 세그먼테이션 모델을 훈련시키는 데 활용될 수 있는가?
• RQ4 다양한 위성 파장 대역에 대해 훈련된 단일 딥 신경망이 각 센서별 별도의 모델 없이도 산림 파괴 세그먼테이션에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 멀티모달 산림 파괴 탐지에서 모델 앙상블 및 사전 이진화 블렌딩의 성능 향상 효과는 어느 정도인가?

주요 결과

• 최적의 단일 모델은 MultiEarth 2023 데이터셋의 검증되지 않은 테스트 세트에서 90.4% 픽셀 정확도, 0.871 F1 점수, 0.792 교차합집합률(IoU)을 달성하였다.
• 약간의 아키텍처 차이를 가진 여러 모델을 앙상블하여 성능을 향상시켜 90.8% 픽셀 정확도, 0.876 F1 점수, 0.799 IoU를 달성하였다.
• MultiEarth 2023 산림 파괴 세그먼테이션 도전 대회에서 모든 참가자들을 능가하여 1위를 기록하였으며, 총합 순위에서 2위를 차지하였다.
• 화재 탐지에 있어서, 8년간의 남미 위성 데이터를 기반으로 훈련한 모델은 시간적 검증과 해상도 정렬을 통해 픽셀 수준 AUC 0.95를 달성하였다.
• 제안된 데이터셋과 코드베이스는 GitHub에 공개되어 있어 재현 가능성이 높으며, 다른 지역 및 애플리케이션으로의 확장도 가능하다.
• 위성 입력 드롭아웃의 사용은 누락된 데이터에 대한 강건성을 크게 향상시켜, 이 정규화 기법 없이 훈련된 모델보다 우수한 성능을 보였다.