[논문 리뷰] DeepDamageNet: A two-step deep-learning model for multi-disaster building damage segmentation and classification using satellite imagery

Irene Alisjahbana, Jiawei Li외 3명|arXiv (Cornell University)|2024. 05. 08.

Remote Sensing and Land Use인용 수 9

한 줄 요약

본 논문은 위성 영상으로 다중 재해 건물 손상 분할 및 분류를 위한 엔드-투-엔드 및 두 단계 심층학습 모델을 제안하며, 두 단계 모델(세그먼트화 + 손상 분류)이 최상의 성능을 달성하고 xView2 벤치마크를 능가한다. Overall F1은 0.66으로 달성된다.

ABSTRACT

Satellite imagery has played an increasingly important role in post-disaster building damage assessment. Unfortunately, current methods still rely on manual visual interpretation, which is often time-consuming and can cause very low accuracy. To address the limitations of manual interpretation, there has been a significant increase in efforts to automate the process. We present a solution that performs the two most important tasks in building damage assessment, segmentation and classification, through deep-learning models. We show our results submitted as part of the xView2 Challenge, a competition to design better models for identifying buildings and their damage level after exposure to multiple kinds of natural disasters. Our best model couples a building identification semantic segmentation convolutional neural network (CNN) to a building damage classification CNN, with a combined F1 score of 0.66, surpassing the xView2 challenge baseline F1 score of 0.28. We find that though our model was able to identify buildings with relatively high accuracy, building damage classification across various disaster types is a difficult task due to the visual similarity between different damage levels and different damage distribution between disaster types, highlighting the fact that it may be important to have a probabilistic prior estimate regarding disaster damage in order to obtain accurate predictions.

연구 동기 및 목표

• 수동 해석 대신 자동화된 방법으로 신속한 재해 직후의 건물 손상 평가를 다룬다.
• 지진, 홍수, 허리케인 등 여러 재해 유형을 처리할 수 있는 모델을 개발한다.
• Segmentation(세그먼트화)와 Damage Classification(손상 분류)에 대한 엔드-투-엔드 대 두 단계 아키텍처를 비교한다.
• xBD/xView2 데이터셋에서 전처리, 분할, 및 분류 전략을 평가한다.
• 재해 유형 정보와 추가 특성이 분류 성능에 미치는 영향을 조사한다.

제안 방법

• 엔드-투-엔드 및 두 단계 아키텍처의 공동 세그먼테이션 및 손상 분류 가능성 평가.
• 전처리-후처리 이미지 차이를 입력으로 사용하는 ResNet-34 인코더를 갖춘 U-Net 기반 엔드-투-엔드 모델.
• 두 단계 모델 개발: (a) 인스턴스/시맨틱 세그먼테이션으로 건물 외곽 추출, (b) 전/후 재해 크롭 및 다양한 특징 융합 방식으로 건물별 손상 분류.
• 건물 외곽 추출을 위한 Mask R-CNN 인스턴스 세그먼테이션 및 ResNet-50 + FPN 기반 시맨틱 세그먼테이션.
• 전/후 재해 특징을 융합하는 쌍-타워 CNN을 이용한 손상 분류; 간단한 전/후 연결, 재해 유형 조건화, SSIM 기반 특징 등을 비교.
• mIoU 및 가중치가 적용된 F1 등 지표로 xBD/xView2 데이터셋에 대해 학습 및 평가하고, 최종 결합 F1을 보고한다.

Figure 1: Pre-disaster (left) and its corresponding post-disaster satellite image

실험 결과

연구 질문

• RQ1 다중 재해 손상 평가를 위해 두 단계의 세그먼테이션 + 분류 파이프라인이 엔드-투-엔드 모델보다 우수한가?
• RQ2 재해 유형 정보를 보조 특성으로 포함시키면 재해 유형 간 손상 분류 정확도가 향상되는가?
• RQ3 SSIM과 같은 수작업 특징이 손상 분류에서 측정 가능한 이점을 제공하는가?
• RQ4 이 맥락에서 시맨틱 세그먼테이션 기반 외곽 추출이 인스턴스 세그먼테이션에 비해 어떤 차이가 있는가?
• RQ5 跨재해 일반화가 손상 수준 분류에 어느 정도 영향을 미치는가?

주요 결과

Method	Segmentation F1 Score	Classification F1 Score	Overall F1 Score
xView2 Baseline	0.80482	0.06091	0.28408
End-to-end Model	0.79584	N/A	0.23875
Semantic Segmentation + Pre & Post Concatenation	0.84330	0.51	0.61
Semantic Segmentation + Pre & Post Concatenation + Disaster	0.84330	0.5873	0.6641
Semantic Segmentation + Pre & Post Concatenation + SSIM	0.84330	0.54679	0.63574

• 엔드-투-엔드 모델은 검증에서 세그먼테이션 F1 0.79584를 달성했으나 전체 F1은 0.23875에 머무름; 테스트 세트에서의 분류 결과는 엔드-투-엔드 설정에 대해 사용 가능하지 않음.
• 세그먼트 방식의 건물 외곽 추출이 인스턴스 세그먼테이션보다 우수(검증에서 mIoU: 0.85 대 0.70).
• 세그먼트 세그먼테이션 + 손상 분류를 결합한 두 단계 모델이 xView2 벤치마크를 크게 능가; 최적은 Semantic Segmentation + Pre & Post Concatenation + Disaster로 Overall F1 0.6641을 기록.
• 기준 xView2 결과(참고): Segmentation F1 0.80482, Classification F1 0.06091, Overall F1 0.28408.
• 재해 유형 조건화는 분류 성능을 향상시키며(Pre & Post Concatenation + Disaster가 기본 연결보다 유효한 정확도 달성),
• SSIM을 추가 특징으로 사용하면 기본 전/후 연결보다 성능이 향상되지만 재해 조건화 모델보다 낮은 것으로 나타남.

Figure 2: Distribution of building damage level in training set