[논문 리뷰] DAM-Net: Global Flood Detection from SAR Imagery Using Differential Attention Metric-Based Vision Transformers

Tamer Saleh, Xingxing Weng외 3명|arXiv (Cornell University)|2023. 06. 01.

Flood Risk Assessment and Management인용 수 5

한 줄 요약

이 논문은 시각 트랜스포머 기반 모델인 DAM-Net을 제안하며, 차등 주의 메트릭스와 시아미즈 백본을 활용하여 다중 시기적 지문 1번 SAR 영상에서 전 세계 홍수 범위를 탐지한다. 시간-차등 융합 모듈을 통해 다중 척도적 변화 특징과 고수준 의미적 토큰을 융합함으로써, 새로 제안된 S1GFloods 데이터셋에서 97.8%의 전체 정확도, 96.5%의 F1 점수, 93.2%의 IoU를 달성하여 최신 기술보다 뚜렷하게 뛰어난 성능을 보였다.

ABSTRACT

The detection of flooded areas using high-resolution synthetic aperture radar (SAR) imagery is a critical task with applications in crisis and disaster management, as well as environmental resource planning. However, the complex nature of SAR images presents a challenge that often leads to an overestimation of the flood extent. To address this issue, we propose a novel differential attention metric-based network (DAM-Net) in this study. The DAM-Net comprises two key components: a weight-sharing Siamese backbone to obtain multi-scale change features of multi-temporal images and tokens containing high-level semantic information of water-body changes, and a temporal differential fusion (TDF) module that integrates semantic tokens and change features to generate flood maps with reduced speckle noise. Specifically, the backbone is split into multiple stages. In each stage, we design three modules, namely, temporal-wise feature extraction (TWFE), cross-temporal change attention (CTCA), and temporal-aware change enhancement (TACE), to effectively extract the change features. In TACE of the last stage, we introduce a class token to record high-level semantic information of water-body changes via the attention mechanism. Another challenge faced by data-driven deep learning algorithms is the limited availability of flood detection datasets. To overcome this, we have created the S1GFloods open-source dataset, a global-scale high-resolution Sentinel-1 SAR image pairs dataset covering 46 global flood events between 2015 and 2022. The experiments on the S1GFloods dataset using the proposed DAM-Net showed top results compared to state-of-the-art methods in terms of overall accuracy, F1-score, and IoU, which reached 97.8%, 96.5%, and 93.2%, respectively. Our dataset and code will be available online at https://github.com/Tamer-Saleh/S1GFlood-Detection.

연구 동기 및 목표

• 스포크 노이즈와 유사한 반사율 반응으로 인해 복잡한 SAR 영상에서 홍수 범위를 과도하게 추정하는 문제를 해결하기 위해.
• 국소적 컨볼루션 연산을 시각 트랜스포머로 대체하여 홍수 탐지에서 장거리 맥락 모델링을 향상시키기 위해.
• 대규모이고 다양한 SAR 기반 홍수 탐지 데이터셋의 부족 문제를 해결하기 위해 오픈소스 S1GFloods 데이터셋을 구축하기 위해.
• 정확하고 노이즈에 강건한 홍수 지ap핑을 위해 변화 특징과 의미 토큰을 효과적으로 융합하는 딥 러닝 모델을 개발하기 위해.
• 다양한 홍수 사건을 포함한 전 세계 고해상도 지문 1 영상 쌍을 활용하여 SAR 기반 홍수 탐지의 새로운 벤치마크를 설정하기 위해.

제안 방법

• ViTAEv2를 기반으로 한 가중치 공유 시아미즈 백본을 사용하여 사전 및 사후 홍수 SAR 영상 쌍에서 다중 척도 변화 특징을 추출한다.
• 백본의 각 스테이지에는 시간별 특징 추출(TWFE), 교차 시간 변화 주의(CTCA), 시간 인식 변화 강화(TACE)의 세 가지 모듈이 통합되어 있다.
• CTCA 모듈은 시간 간의 의미 있는 변화 패턴을 식별하기 위해 전역 맥락적 종속성을 모델링한다.
• TACE 모듈은 공간적 및 시간적 일관성을 유지함으로써 특징 변환 중 정보 손실을 최소화한다.
• 최종 TACE 모듈에 클래스 토큰을 도입하여 자기 주의 메커니즘을 통해 수체 변화에 대한 고수준 의미 정보를 인코딩한다.
• 시간-차등 융합(TDF) 모듈은 의미 토큰과 변화 특징을 융합하여 스포크 노이즈가 감소된 정교한 홍수 지도를 생성한다.

실험 결과

연구 질문

• RQ1 시각 트랜스포머 기반 아키텍처가 국소적 컨볼루션의 한계를 극복하고 SAR 기반 홍수 탐지에서 장거리 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 의미 토큰과 변화 특징을 융합함으로써 홍수 탐지 정확도는 향상되고 가짜 양성 결과는 어떻게 감소하는가?
• RQ3 새로운 차등 주의 메커니즘이 SAR 영상의 변화 탐지에 있어 특징 표현을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 DAM-Net 모델은 다양한 전 세계적 규모의 SAR 홍수 데이터셋에서 최신 기술 대비 어떻게 성능을 발휘하는가?
• RQ5 S1GFloods 데이터셋은 향후 SAR 기반 홍수 탐지 모델의 훈련 및 평가를 위한 신뢰할 수 있는 벤치마크로 기능할 수 있는가?

주요 결과

• DAM-Net은 S1GFloods 데이터셋에서 97.8%의 전체 정확도, 96.5%의 F1 점수, 93.2%의 IoU를 달성하여 모든 최신 기술을 능가했다.
• 제거 실험에서 오버랩딩 임베딩 레이어가 OA에서 1.3%p, F1에서 2.1%p, IoU에서 1.8%p 향상시켜 성능 향상을 확인했다.
• CTCA와 TACE 모듈의 조합이 가장 크게 기여하였으며, 기준 모델 대비 IoU를 5.5%p 향상시켰다.
• 의미 토큰의 포함으로 일시적 물체(예: 선박)로 인한 잘못된 탐지가 감소하였고, IoU가 5.4%p 향상되었다.
• 모든 구성 요소를 사용했을 때 모델은 98.8%의 OA, 95.3%의 F1, 92.6%의 IoU를 기록하여 전체 아키텍처의 효과성을 입증했다.
• CNN 기반 모델은 S1GFloods 데이터셋에서 성능이 열등하여 IoU 점수가 DAM-Net보다 7.8%p 낮게 나타나, 이 작업에 대해 시각 트랜스포머의 우수성을 입증했다.