[논문 리뷰] Learning from Multimodal and Multitemporal Earth Observation Data for Building Damage Mapping

Bruno Adriano, Naoto Yokoya외 5명|arXiv (Cornell University)|2020. 09. 14.

Remote-Sensing Image Classification참고 문헌 57인용 수 6

한 줄 요약

이 논문은 지진, 측류, 태풍과 같은 재해 전후의 다중모달 및 다중시기 지구관측 데이터(광학 영상 및 SAR 영상)를 결합하여 건물 피해 지ap핑을 위한 딥러닝 프레임워크를 제안한다. 손상 수준을 3단계(생존, 중도, 파손)로 분류하기 위해 어텐션 U-Net 모델을 활용하였으며, 재해 전 광학 영상과 재해 후 SAR 영상 간의 다중모달 융합이 전체 융합 성능과 유사한 성능을 보이며, 모든 기상 조건에서 견고한 재해 대응이 가능함을 입증하였다. 특히, SAR 데이터만 이용 가능한 경우에도 효과적으로 기능한다.

ABSTRACT

Earth observation technologies, such as optical imaging and synthetic aperture radar (SAR), provide excellent means to monitor ever-growing urban environments continuously. Notably, in the case of large-scale disasters (e.g., tsunamis and earthquakes), in which a response is highly time-critical, images from both data modalities can complement each other to accurately convey the full damage condition in the disaster's aftermath. However, due to several factors, such as weather and satellite coverage, it is often uncertain which data modality will be the first available for rapid disaster response efforts. Hence, novel methodologies that can utilize all accessible EO datasets are essential for disaster management. In this study, we have developed a global multisensor and multitemporal dataset for building damage mapping. We included building damage characteristics from three disaster types, namely, earthquakes, tsunamis, and typhoons, and considered three building damage categories. The global dataset contains high-resolution optical imagery and high-to-moderate-resolution multiband SAR data acquired before and after each disaster. Using this comprehensive dataset, we analyzed five data modality scenarios for damage mapping: single-mode (optical and SAR datasets), cross-modal (pre-disaster optical and post-disaster SAR datasets), and mode fusion scenarios. We defined a damage mapping framework for the semantic segmentation of damaged buildings based on a deep convolutional neural network algorithm. We compare our approach to another state-of-the-art baseline model for damage mapping. The results indicated that our dataset, together with a deep learning network, enabled acceptable predictions for all the data modality scenarios.

연구 동기 및 목표

• 지진, 측류, 태풍으로 인한 건물 피해에 대한 종합적인 글로벌 데이터셋을 다중센서, 다중시기 광학 영상 및 SAR 영상으로 구축한다.
• 재해 대응에서 데이터 가용성 문제를 해결하기 위해 단일모달, 다중모달, 융합 시나리오와 같은 다양한 데이터 모달리티 시나리오를 평가한다.
• 다양한 데이터 가용성 조건에서 일반화 가능한 딥러닝 기반 피해 지도 작성 프레임워크를 설계하고 검증한다.
• 제안된 프레임워크를 기존 최신 기술 기반 모델(xView2 우승 모델)과 다양한 데이터 시나리오에서 비교한다.

제안 방법

• 지진, 측류, 태풍과 같은 세 가지 재해 유형 전후에 수집된 고해상도 광학 영상과 고해상도에서 중간해상도에 이르는 다밴드 SAR 영상으로 구성된 글로벌 다중센서, 다중시기 데이터셋을 구축하였다.
• 건물 피해를 세 가지 범주로 정의: 생존, 중도, 파손. 학습 및 평가를 위해 레이블링된 건물 외곽선을 포함한다.
• 건물 피해의 세분화를 위한 어텐션 U-Net 아키텍처 기반의 피해 지도 작성 프레임워크를 개발하였다.
• 다섯 가지 데이터 모달리티 시나리오를 평가: 단일모달(광학 또는 SAR 전용), 다중모달(재해 전 광학 영상 + 재해 후 SAR 영상), 융합(양측 모달 모두 가용).
• 모든 시나리오에서 전체 데이터셋을 사용해 모델을 학습하였으며, 성능 평가에 F1 점수와 IoU 지표를 활용하였다.
• 특히 파손 클래스의 세분화 정확도 향상을 위해 손실 함수를 통합하였으며, 데이터 해상도 및 채널 수(RGB 대 대비 회색조)의 영향을 평가하였다.

실험 결과

연구 질문

• RQ1 다중모달, 다중시기 지구관측 데이터셋으로 훈련된 딥러닝 모델이 다양한 데이터 가용성 조건에서 건물 피해 분류에 대해 얼마나 견고한가?
• RQ2 재해 전 광학 영상과 재해 후 SAR 영상의 다중모달 입력이 전체 융합 또는 단일모달 입력 대비 피해 분류 정확도에서 어떻게 비교되는가?
• RQ3 재해 전 광학 영상은 SAR 전용 피해 지도 작성 성능을 얼마나 향상시키는가?
• RQ4 실제 재해 대응 제약 조건 하에서 제안된 프레임워크가 기존 최신 기술 모델을 초월할 수 있는가?

주요 결과

• 제안된 프레임워크는 모든 다섯 가지 데이터 모달리티 시나리오에서 기존 베이스라인 모델을 일관되게 뛰어넘었으며, 데이터 가용성 변화에 대한 강건성을 입증하였다.
• 다중모달 지도 작성(재해 전 광학 영상 + 재해 후 SAR 영상)이 전체 융합 성능과 유사한 성능을 기록하여, 빠른 비상 대응에 매우 유망한 후보로 나타났다.
• 단일모달 SAR 전용 입력은 열악한 성능을 보였다(F1 점수 약 0.42~0.43), 특히 중도 및 생존 클래스에서 해상도 및 채널 수의 제한으로 인해 성능 저하가 발생했다.
• 재해 전 광학 영상과 재해 후 SAR 영상을 융합할 경우, 중도 및 생존 클래스의 세분화 정확도가 크게 향상되어 SAR 전용 모드 대비 약 50% 향상된 성능을 기록하였다.
• 파손 클래스에서 건물 외곽선 크기를 과대평가하는 경향이 관찰되어, 딱타 계수와 같은 추가 손실 함수 도입으로 향상 가능성이 있음을 시사한다.
• 결과는 SpaceNet Challenge 6의 결과와 일치하여, SAR 데이터가 심각한 피해를 분류하는 데 신뢰할 수 있음을 검증하였다.