[논문 리뷰] Kuro Siwo: 33 billion $m^2$ under the water. A global multi-temporal satellite dataset for rapid flood mapping

Nikolaos Ioannis Bountos, Maria Sdraka외 7명|arXiv (Cornell University)|2023. 11. 18.

Flood Risk Assessment and Management인용 수 4

한 줄 요약

쿠로 시워는 630억㎡의 육지 영역을 포함하며, 32건의 홍수 사건에 대해 고품질 수동 주석을 제공하는 글로벌 분포, 다중시기의 합성물초점 레이더(SAR) 데이터셋이다. 이 중 121억㎡는 홍수 또는 영구 수역이다. 이 데이터셋은 지도학습 및 자기지도학습 기반의 딥러닝을 통해 빠른 홍수 지ap핑을 가능하게 하며, 수중 탐지에서 최대 87%의 F1 스코어를 달성하고, 블랙벤치 기준으로 강력한 베이스라인을 설정한다.

ABSTRACT

Global floods, exacerbated by climate change, pose severe threats to human life, infrastructure, and the environment. Recent catastrophic events in Pakistan and New Zealand underscore the urgent need for precise flood mapping to guide restoration efforts, understand vulnerabilities, and prepare for future occurrences. While Synthetic Aperture Radar (SAR) remote sensing offers day-and-night, all-weather imaging capabilities, its application in deep learning for flood segmentation is limited by the lack of large annotated datasets. To address this, we introduce Kuro Siwo, a manually annotated multi-temporal dataset, spanning 43 flood events globally. Our dataset maps more than 338 billion $m^2$ of land, with 33 billion designated as either flooded areas or permanent water bodies. Kuro Siwo includes a highly processed product optimized for flood mapping based on SAR Ground Range Detected, and a primal SAR Single Look Complex product with minimal preprocessing, designed to promote research on the exploitation of both the phase and amplitude information and to offer maximum flexibility for downstream task preprocessing. To leverage advances in large scale self-supervised pretraining methods for remote sensing data, we augment Kuro Siwo with a large unlabeled set of SAR samples. Finally, we provide an extensive benchmark, namely BlackBench, offering strong baselines for a diverse set of flood events from Europe, America, Africa, Asia and Australia.

연구 동기 및 목표

• 딥러닝을 통한 홍수 지도 제작을 위한 대규모 고품질 주석이 부여된 SAR 데이터셋의 부족 문제를 해결한다.
• 낮은 기상 조건이나 야간 조건에서도 작동하는 SAR 데이터를 활용해 다양한 글로벌 조건에서 빠르고 정확한 홍수 지도 제작을 가능하게 한다.
• 자동 홍수 탐지 및 대응 분야의 연구를 가속화하기 위해, 새로운 지리적 위치와 다양한 환경 조건에서의 홍수 세그멘테이션 모델 평가를 위한 강력한 기준을 제공한다.
• 대규모 비주석 기반 SAR 데이터셋과 정제된 주석을 함께 공개함으로써 지도학습 및 자기지도학습 모두를 지원한다.
• 모델이 여러 대륙의 예측 불가능한 홍수 사건에 일반화할 수 있도록 함으로써 재해 대응 및 위험 평가를 향상시킨다.

제안 방법

• 유럽, 아메리카, 아프리카, 오스트레일리아 등에서 발생한 32건의 홍수 사건에 대해 이중 편광 및 고도 데이터를 포함한 글로벌 다중시기 SAR 데이터셋을 정제한다.
• 고해상도 SAR 영상과 CEMS 및 기타 자료에서의 교차 검증된 지상 기반 진술을 활용해 홍수 지역과 영구 수역을 철저히 수동 주석한다.
• 모델의 일반화 능력과 시간적 추론 능력을 향상시키기 위해, 사전 이벤트, 이벤트 중, 사후 이벤트의 SAR 영상을 포함하여 시간적 맥락을 통합한다.
• 미래의 지리적 위치와 다양한 환경 조건에서 홍수 세그멘테이션 모델을 평가하기 위한 통합 벤치마크인 블랙벤치를 개발한다.
• 모델의 강건성과 전이 학습 성능 향상을 위해 대규모 비주석 기반 SAR 데이터셋을 공개함으로써 자기지도학습 전훈을 가능하게 한다.
• 쿠로 시워 데이터셋에서 최신 기술 모델인 플러드비트-디코더 및 스누넷-씨디를 훈련 및 평가하여 강력한 성능 기준을 설정한다.

실험 결과

연구 질문

• RQ1 다양한 지역과 시기적 맥락을 갖춘 고품질 주석이 부여된 글로벌 다중시기 SAR 데이터셋이 딥러닝 모델의 빠른 홍수 지도 제작 성능을 크게 향상시킬 수 있는가?
• RQ2 사전, 홍수 발생 중, 사후의 시간적 맥락을 포함할 경우 모델의 일반화 능력과 세그멘테이션 정확도에 어떤 영향을 미치는가?
• RQ3 대규모 비주석 기반 SAR 데이터에서 자기지도학습 전훈을 수행할 경우, 하류 홍수 탐지 성능 향상에 어느 정도 기여하는가?
• RQ4 왜 모델들은 특히 다이나믹한 강 유역 환경에서 영구 수역과 홍수 지역을 구분하는 데 어려움을 겪는가?
• RQ5 쿠로 시워에서 훈련된 모델은 다양한 대륙과 환경 조건에서 예측 불가능한 홍수 사건에 효과적으로 일반화할 수 있는가?

주요 결과

• 쿠로 시워는 홍수 지역 탐지에서 약 85%의 F1 스코어, 일반 수역 탐지에서 87%의 F1 스코어를 기록하여 높은 주석 품질과 모델 성능을 입증한다.
• 쿠로 시워에서 훈련된 모델은 지리적·기후적 다양성이 높은 예측 불가능한 이벤트에 대해 홍수 지역 탐지에서 82% 이상, 이진 수역 탐지에서 85% 이상의 F1 스코어를 달성한다.
• 사용 가능한 모든 사전 이벤트 SAR 영상의 포함이 모델 성능 향상에 크게 기여함을 확인하여, 홍수 세그멘테이션에서 시간적 맥락의 중요성을 입증한다.
• 플러드비트-디코더는 테스트된 모델들 중 평균 교차율(IoU)이 가장 높으며, 스누넷-씨디 역시 유사한 성능을 보여 강력한 기준 성능을 입증한다.
• 특히 다이나믹한 강 시스템에서 영구 수역 탐지에 있어 심각한 성능 저하가 관찰되며, 이는 SAR 영상의 스펙클 노이즈와 홍수 지역을 구분하기 어려운 점 때문으로 보인다.
• 정성 분석 결과, 침수된 강 주변 섬과 작은 이동성 수역은 정확하게 세그멘테이션하기 어려운 것으로 나타나, 현재 모델들이 노이즈가 많은 SAR 조건에서 미세한 동적 수역 특징을 해석하는 데 한계를 지닌다는 점을 시사한다.