[논문 리뷰] A Machine learning approach for rapid disaster response based on multi- modal data : The case of housing & shelter needs

Karla Saldaña Ochoa, Maria Colomba Comes|arXiv (Cornell University)|2021. 07. 29.

Disaster Management and Resilience참고 문헌 23인용 수 6

한 줄 요약

이 논문은 인공지능 워크플로우를 제안하며, 위성 영상, 인구 통계 자료, 텍스트 기반 재해 보고서 등의 다중 모odal 데이터를 후기 융합과 자기조직화 맵(SOM)을 사용해 재해 후 숙소 및 주거 수요를 예측한다. 202건의 글로벌 재해 데이터로 훈련된 모델은 사망자 수, 영향을 받은 인구, 피해 규모 예측에서 62–63%의 정확도를 달성했으며, 상황에 맞는 숙소 권고안을 제공한다.

ABSTRACT

Along with climate change, more frequent extreme events, such as flooding and tropical cyclones, threaten the livelihoods and wellbeing of poor and vulnerable populations. One of the most immediate needs of people affected by a disaster is finding shelter. While the proliferation of data on disasters is already helping to save lives, identifying damages in buildings, assessing shelter needs, and finding appropriate places to establish emergency shelters or settlements require a wide range of data to be combined rapidly. To address this gap and make a headway in comprehensive assessments, this paper proposes a machine learning workflow that aims to fuse and rapidly analyse multimodal data. This workflow is built around open and online data to ensure scalability and broad accessibility. Based on a database of 19 characteristics for more than 200 disasters worldwide, a fusion approach at the decision level was used. This technique allows the collected multimodal data to share a common semantic space that facilitates the prediction of individual variables. Each fused numerical vector was fed into an unsupervised clustering algorithm called Self-Organizing-Maps (SOM). The trained SOM serves as a predictor for future cases, allowing predicting consequences such as total deaths, total people affected, and total damage, and provides specific recommendations for assessments in the shelter and housing sector. To achieve such prediction, a satellite image from before the disaster and the geographic and demographic conditions are shown to the trained model, which achieved a prediction accuracy of 62 %

연구 동기 및 목표

• 재해 대응에서 신속하고 데이터 기반의 의사결정을 내리는 데 도전하는 것, 특히 숙소 및 주거 수요에 중점을 두고.
• 단일 모odal 데이터나 소셜 미디어에 의존하는 기존 재해 대응 시스템의 한계를 극복하는 것 — 이러한 시스템은 허위정보에 취약하다.
• 과거 재해 사례에서 교차적 맥락 학습이 가능하도록 확장 가능한 오픈 데이터 기반 프레임워크를 개발하는 것.
• 역사적 재해 패턴을 바탕으로 실제 적용 가능한, 맥락에 맞는 숙소 및 주거 분야 권고안을 제공하는 것.
• 다중 모달 데이터에 대해 비지도 학습을 적용해 재해 영향을 예측하고 운영적 의사결정을 지원할 수 있는 가능성을 입증하는 것.

제안 방법

• EM-DAT를 통한 재해 기록, 사전 재해 위성 영상, 인구 및 지리 통계 자료 등 오픈 및 온라인 데이터 소스를 활용.
• 각 모달리티에서 특징을 추출: 자연어 처리(NLP)를 통한 텍스트 기술, 원격 감지 기법을 통한 위성 영상, 표준화를 통한 통계 자료.
• 모든 모달리티가 후기 융합에서 균형 잡힌 기여를 할 수 있도록 특징 수준의 정규화를 적용하여 공통 수치 벡터 공간으로 변환.
• 자기조직화 맵(SOM) — 비지도 군집화 알고리즘 — 을 사용해 다중 모달 특징 간 유사성에 기반해 재해를 군집화.
• 2010–2019년 기간 동안의 202건의 역사적 재해 데이터로 SOM을 훈련하여 사망자 수, 영향을 받은 인구, 피해 규모, 공간적 위험 요소 등 패턴을 학습.
• 훈련된 SOM을 활용해 추론 수행: 새로운 재해 사례(예: 2020년 사례들)를 가장 유사한 군집에 할당하고 관련된 숙소 권고안을 검색.

실험 결과

연구 질문

• RQ1 결정 수준에서의 다중 모달 데이터 융합이 사망자 수 및 피해 규모와 같은 재해 영향 예측 정확도를 향상시킬 수 있는가?
• RQ2 역사적 재해 데이터에 대한 비지도 학습이 숙소 및 주거 수요에 대한 신속하고 실용적인 권고안을 얼마나 잘 지원할 수 있는가?
• RQ3 인구, 지리, 사전 재해 시공간적 특징이 재해 대응 예측의 군집화 결과에 어떤 영향을 미치는가?
• RQ4 오픈 데이터 기반으로 훈련된 모델이 실시간으로 인도적 의사결정자들에게 신뢰성 있고 확장 가능하며 접근 가능한 지원을 제공할 수 있는가?
• RQ5 위성 영상과 도시 위험 지수는 모델의 예측 능력과 해석 가능성 향상에 어떤 역할을 하는가?

주요 결과

• 훈련 데이터에서는 62%의 정확도, 검증 데이터(2020년 재해)에서는 63%의 정확도를 기록하여 영향 예측에 대한 뛰어난 안정성을 입증.
• 군집화에 가장 영향을 미친 특징은 총 사망자 수, 영향을 받은 인구 수, 총 피해 금액(미화), 글로벌 도시 위험 지수(경제적 및 사망률 기반), 부문 고도, 건설 부문의 추가 가치, 인근 행정 구역의 인구 및 면적이다.
• 위성 영상에서 유도된 도시 특징이 재해 심각도와 공간적 맥락을 구분하는 데 모델의 능력에 크게 기여했다.
• 훈련된 SOM은 새로운 재해 사례를 유사한 이전 사례에 성공적으로 매핑하여 맥락에 맞는 숙소 및 주거 권고안을 검색할 수 있도록 했다.
• 통합된 의미론적 표현을 통해 의사결정자들이 과거 재해 사례에서 얻은 교훈을 통합적으로 접근할 수 있도록 하여 다기관 간 학습을 지원한다.
• 이중성 있는 데이터를 하나의 해석 가능한 의사결정 공간으로 변환함으로써, 운영적 활용을 위한 신속한 상황 인식이 가능해졌다.