[논문 리뷰] Post-hurricane building damage assessment using street-view imagery and structured data: A multi-modal deep learning approach

Zhuoqun Xue, Xiaojian Zhang외 4명|arXiv (Cornell University)|2024. 04. 11.

Remote Sensing and Land UseEarth and Planetary Sciences인용 수 3

한 줄 요약

이 논문은 스트리트 뷰 영상과 구조적 데이터(예: 풍속, 건물 연령 등)를 융합하여 허리케인 후 건물 피해 분류를 위한 다중모달 딥러닝 모델인 Multi-Modal Swin Transformer(MMST)을 제안한다. 영상 특징 추출에 Swin Transformer를 활용하고, 구조적 데이터에는 다중헤드 자기주의 주의(MHSA)를 적용함으로써 MMST는 92.67%의 정확도를 달성하여 VGG-16보다 7.71% 높은 성능을 보이며, 시각적 및 맥락적 데이터를 모두 활용한 피해 평가에서 뛰어난 성능을 입증한다.

ABSTRACT

Accurately assessing building damage is critical for disaster response and recovery. However, many existing models for detecting building damage have poor prediction accuracy due to their limited capabilities of identifying detailed, comprehensive structural and/or non-structural damage from the street-view image. Additionally, these models mainly rely on the imagery data for damage classification, failing to account for other critical information, such as wind speed, building characteristics, evacuation zones, and distance of the building to the hurricane track. To address these limitations, in this study, we propose a novel multi-modal (i.e., imagery and structured data) approach for post-hurricane building damage classification, named the Multi-Modal Swin Transformer (MMST). We empirically train and evaluate the proposed MMST using data collected from the 2022 Hurricane Ian in Florida, USA. Results show that MMST outperforms all selected state-of-the-art benchmark models and can achieve an accuracy of 92.67%, which are 7.71% improvement in accuracy compared to Visual Geometry Group 16 (VGG-16). In addition to the street-view imagery data, building value, building age, and wind speed are the most important predictors for damage level classification. The proposed MMST can be deployed to assist in rapid damage assessment and guide reconnaissance efforts in future hurricanes.

연구 동기 및 목표

• 단일모달 모델의 한계, 특히 영상 자료에만 의존함으로써 발생하는 낮은 정확도 문제를 해결하기 위해.
• 풍속, 건물 연령, 허리케인 경로와의 거리와 같은 구조적 데이터를 딥러닝 모델에 통합하여 피해 예측 성능을 향상시키기 위해.
• 시각적 및 비시각적 데이터를 효과적으로 융합하는 다중모달 딥러닝 프레임워크를 개발하여 더 정확하고 견고한 건물 피해 분류를 실현하기 위해.
• 플로리다주에서 발생한 허리케인 아이언(Hurricane Ian, 2022)의 실제 데이터를 기반으로 제안된 모델을 평가하여 실용적 관련성과 경험적 검증을 확보하기 위해.
• 주의 기반 트랜스포머가 전통적인 CNN보다 전반적인 피해 패턴을 더 잘 포착하고 주요 피해 영역에 집중할 수 있음을 입증하기 위해.

제안 방법

• 스트리트 뷰 영상 내의 다중스케일 및 전역적 관계를 포착하기 위해 이동 윈도우 자기주의 주의 메커니즘을 활용하는 Swin-S Transformer를 영상 특징 추출의 백본으로 사용한다.
• 다중헤드 자기주의 주의(MHSA)를 활용해 구조적 데이터 입력을 처리하며, 건물 연령, 풍속 등 다양한 특징에 대해 동적 가중치를 할당함으로써 모델의 해석 가능성과 성능을 향상시킨다.
• 이식 가능한 융합 모듈과 조정 가능한 융합 비율을 도입하여 영상 및 구조적 데이터 표현을 통합함으로써 다중모달 입력의 최적화된 융합을 달성한다.
• 실제 허리케인 아이언(Hurricane Ian, 2022) 데이터셋을 기반으로 MMST 모델을 훈련 및 평가하며, 스트리트 뷰 영상과 관련 허리케인 특성 정보를 포함한 1,000개 이상의 건물 데이터를 포함한다.
• 4개 수준의 피해 등급(예: 피해 없음, 경미함, 중간, 심각함)을 갖는 다중클래스 피해 분류 작업을 수행하여 정확도, MCC, F1-스코어와 같은 표준 지표를 기반으로 모델 성능을 평가한다.
• 각 모달 및 구성 요소의 기여도를 평가하기 위해 추상화 실험(Ablation studies)을 실시하며, 구조적 데이터 및 주의 메커니즘의 영향을 분석한다.

실험 결과

연구 질문

• RQ1 스트리트 뷰 영상과 구조적 데이터를 융합하는 다중모달 딥러닝 모델이 단일모달 모델에 비해 허리케인 후 건물 피해 분류 정확도를 뚜렷이 향상시킬 수 있는가?
• RQ2 Swin Transformer 백본이 전통적인 CNNs(VGG-16, ResNet 등)에 비해 스트리트 뷰 영상에서 전역적 및 국소적 피해 패턴을 포착하는 데 얼마나 우수한가?
• RQ3 풍속, 건물 연령, 건물 가치와 같은 다양한 구조적 데이터 특징이 피해 예측 정확도에 미치는 상대적 기여도는 어떠한가?
• RQ4 영상 및 구조적 데이터 표현 간의 최적 융합 비율은 무엇이며, 이는 다중모달 피해 분류 성능을 최대화하는가?
• RQ5 구조적 데이터를 통한 도메인 지식 통합이 실제 재난 상황에서 모델의 견고성과 신뢰도를 얼마나 향상시키는가?

주요 결과

• MMST는 허리케인 아이언 데이터셋에서 92.67%의 분류 정확도를 기록하여 테스트된 가장 강력한 백본 모델인 VGG-16보다 7.71% 높은 성능을 보였다.
• 구조적 데이터의 통합으로 인해 단일모달 Swin Transformer 대비 정확도 1.38%, MCC 9.70%, F1-스코어 1.44% 향상되었다.
• 건물 연령, 풍속, 건물 가치가 피해 수준 분류에 가장 영향력 있는 구조적 데이터 예측 변수로 규명되었다.
• 구조적 데이터에 대한 다중헤드 자기주의 주의 메커니즘이 다양한 특징의 중요도를 동적으로 가중함으로써 모델의 견고성을 크게 향상시켰다.
• 영상 및 구조적 데이터 표현 간 융합 비율 0.80에서 최고의 모델 성능을 기록하여 두 모달 간 최적의 균형이 이루어졌음을 시사했다.
• 시각적 주의 맵은 트랜스포머 기반 모델이 CNN과 달리 파손된 창문, 무너진 벽과 같은 핵심 피해 영역에 더 정확히 집중하고 있음을 확인하였다.