[논문 리뷰] Transformer-based Flood Scene Segmentation for Developing Countries

M R Ahan, Roshan Roy외 3명|arXiv (Cornell University)|2022. 10. 09.

Flood Risk Assessment and Management인용 수 5

한 줄 요약

이 논문은 항공 및 드론 영상에서 홍수 영향 지역의 의미적 세그멘테이션을 위한 하이브리드 CNN-Transformer 모델인 FloodTransformer를 제안한다. WSOC 데이터셋에서 0.93 mIoU를 기록하며 최신 기술 수준의 성능을 달성한다. 자원이 제한된 개발도상국에서 홍수 예측 및 재해 후 필요 평가를 향상시키기 위해 수위 커버리지 정도를 정량화할 수 있는 새로운 지표인 홍수 용량(Flood Capacity, FC)을 도입한다.

ABSTRACT

Floods are large-scale natural disasters that often induce a massive number of deaths, extensive material damage, and economic turmoil. The effects are more extensive and longer-lasting in high-population and low-resource developing countries. Early Warning Systems (EWS) constantly assess water levels and other factors to forecast floods, to help minimize damage. Post-disaster, disaster response teams undertake a Post Disaster Needs Assessment (PDSA) to assess structural damage and determine optimal strategies to respond to highly affected neighbourhoods. However, even today in developing countries, EWS and PDSA analysis of large volumes of image and video data is largely a manual process undertaken by first responders and volunteers. We propose FloodTransformer, which to the best of our knowledge, is the first visual transformer-based model to detect and segment flooded areas from aerial images at disaster sites. We also propose a custom metric, Flood Capacity (FC) to measure the spatial extent of water coverage and quantify the segmented flooded area for EWS and PDSA analyses. We use the SWOC Flood segmentation dataset and achieve 0.93 mIoU, outperforming all other methods. We further show the robustness of this approach by validating across unseen flood images from other flood data sources.

연구 동기 및 목표

• 자원이 제한되고 홍수에 취약한 개발도상국에서 자동화되고 확장 가능한 홍수 피해 평가의 필수적인 필요성을 해결한다.
• 수작업 기반 재해 후 필요 평가(Post-Disaster Needs Assessment, PDSA) 및 초기 경고 시스템(Early Warning System, EWS) 데이터 처리의 한계를 극복한다. 이는 느리고 오류가 많기 때문이다.
• 사회 미디어, 무인 항공기(UAV), 감시 카메라 등 다양한 시각적 데이터 소스에 잘 일반화되는 딥 러닝 모델을 개발한다.
• 홍수 범위의 공간적 범위를 정량적으로 측정하기 위해 새로운 지표인 홍수 용량(Flood Capacity, FC)을 도입한다. 이는 재해 대응 및 예측 향상에 기여한다.
• 비전 트랜스포머 기반 아키텍처가 홍수 세그멘테이션에서 기존의 CNN 기반 모델보다 정확도와 일반화 능력 면에서 뛰어나다는 것을 입증한다.

제안 방법

• 전역적 주의력과 국소적 특징 학습을 동시에 활용하기 위해 비전 트랜스포머 인코더와 CNN 기반 디코더를 조합한 하이브리드 FloodTransformer 아키텍처를 제안한다.
• 이질적인 홍수 환경에서 장거리 공간적 의존성을 모델링하기 위해 트랜스포머 인코더에서 패치 기반 자기주의 메커니즘을 사용한다.
• 하다마드 이중선형 연산을 통해 CNN이 학습한 임베딩과 트랜스포머가 학습한 표현을 융합하여 특징 표현을 향상시킨다.
• 이미지 픽셀 수준의 세그멘테이션을 위해 이진 교차 엔트로피와 DICE 손실을 사용하여 Water Segmentation Open Collection (WSOC) 데이터셋에서 모델을 엔드 투 엔드로 훈련시킨다.
• 홍수 범위를 정량화하기 위해 분할된 수면 픽셀 수를 총 이미지 픽셀 수로 나눈 비율로 정의된 홍수 용량(Flood Capacity, FC)을 새로운 커스텀 지표로 도입한다.
• 외부 분포(out-of-distribution)의 항공 영상에 대해 제로샷 추론을 수행하여 일반화 능력을 평가하며, 지역 캘리브레이션을 위해 파인튜닝이 가능하다.

실험 결과

연구 질문

• RQ1 비전 트랜스포머 기반 모델은 개발도상국의 다양한 실제 영상에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 FloodTransformer는 다른 데이터 소스와 영상 조건에서의 예측되지 않은 홍수 영상에 대해 얼마나 잘 일반화되는가?
• RQ3 제안된 홍수 용량(Flood Capacity, FC) 지표는 기존의 세그멘테이션 지표에 비해 홍수 범위 정량화에 얼마나 향상되는가?
• RQ4 하이브리드 CNN-Transformer 아키텍처는 U-Net 및 PSPNet과 같은 순수 CNN 기반 모델보다 홍수 세그멘테이션 작업에서 더 우수한 성능을 낼 수 있는가?
• RQ5 이 모델은 자원이 제한된 재해 대응 환경에서 PDSA 및 EWS의 수작업 분석 부담을 얼마나 효과적으로 줄일 수 있는가?

주요 결과

• FloodTransformer는 WSOC 데이터셋에서 0.93의 평균 교차율(mIoU)을 기록하여 U-Net, PSPNet, FCN32를 포함한 모든 이전 방법들을 능가한다.
• 모델은 96%의 픽셀 정확도(PA)를 달성하며 표준편차가 0.02로 매우 낮아, 세그멘테이션 성능의 높은 일관성과 강건성을 보여준다.
• 데이터셋 외부의 항공 영상에 대해도 FloodTransformer는 강력한 일반화 능력을 유지하며, FC 값이 각각 0.18과 0.26을 기록하여 예측되지 않은 실제 홍수 장면에서도 효과적임을 입증한다.
• 저해상도의 사회 미디어 영상부터 고해상도 UAV 영상에 이르기까지 다양한 이미지 소스에서 성능이 안정적이다.
• 홍수 용량(Flood Capacity, FC)의 도입으로 홍수 범위의 정량적 평가가 가능해졌으며, 이는 수위 커버리지 측정을 통해 EWS 및 PDSA에 기여한다.
• 하이브리드 아키텍처는 CNN의 인덕티브 바이어스에 대한 의존도를 줄여, 복잡하고 이질적인 홍수 환경에서의 일반화 능력과 강건성을 향상시켰다.