[论文解读] A Machine learning approach for rapid disaster response based on multi- modal data : The case of housing & shelter needs

Karla Saldaña Ochoa, Maria Colomba Comes|arXiv (Cornell University)|Jul 29, 2021

Disaster Management and Resilience参考文献 23被引用 6

一句话总结

本文提出了一种机器学习工作流程，通过晚期融合和自组织映射（SOM）将多模态数据——卫星图像、人口统计数据和文本灾害报告——进行融合，以预测灾害后的避难所和住房需求。该模型基于202起全球灾害事件进行训练，在预测伤亡人数、受影响人口和损失方面达到了62–63%的准确率，同时提供与上下文相关的避难所建议。

ABSTRACT

Along with climate change, more frequent extreme events, such as flooding and tropical cyclones, threaten the livelihoods and wellbeing of poor and vulnerable populations. One of the most immediate needs of people affected by a disaster is finding shelter. While the proliferation of data on disasters is already helping to save lives, identifying damages in buildings, assessing shelter needs, and finding appropriate places to establish emergency shelters or settlements require a wide range of data to be combined rapidly. To address this gap and make a headway in comprehensive assessments, this paper proposes a machine learning workflow that aims to fuse and rapidly analyse multimodal data. This workflow is built around open and online data to ensure scalability and broad accessibility. Based on a database of 19 characteristics for more than 200 disasters worldwide, a fusion approach at the decision level was used. This technique allows the collected multimodal data to share a common semantic space that facilitates the prediction of individual variables. Each fused numerical vector was fed into an unsupervised clustering algorithm called Self-Organizing-Maps (SOM). The trained SOM serves as a predictor for future cases, allowing predicting consequences such as total deaths, total people affected, and total damage, and provides specific recommendations for assessments in the shelter and housing sector. To achieve such prediction, a satellite image from before the disaster and the geographic and demographic conditions are shown to the trained model, which achieved a prediction accuracy of 62 %

研究动机与目标

• 解决灾害响应中快速、数据驱动决策的挑战，特别是针对避难所和住房需求。
• 克服现有灾害响应系统依赖单一模态数据或社交媒体所带来的局限性，这些数据容易受到虚假信息的影响。
• 开发一种可扩展的、基于开放数据的框架，使从历史灾害中学习跨情境知识，以指导当前响应。
• 基于历史灾害模式，为避难所和住房领域提供可操作的、与上下文相关的建议。
• 证明在多模态数据上使用无监督学习来预测灾害影响并支持操作决策的可行性。

提出的方法

• 利用开放和在线数据源，包括用于灾害记录的EM-DAT、灾前卫星图像以及人口和地理统计数据。
• 从每种模态中提取特征：通过自然语言处理（NLP）提取文本描述特征，通过遥感技术提取卫星图像特征，通过标准化处理统计数据。
• 应用特征级归一化，确保所有模态在晚期融合中贡献均衡，将其转换为共享的数值向量空间。
• 采用自组织映射（SOM），一种无监督聚类算法，根据多模态特征的相似性对灾害进行分组。
• 在202起历史灾害（2010–2019年）上训练SOM，以学习伤亡、受影响人口、损失和空间风险因素等方面的模式。
• 在推理阶段使用训练好的SOM：将新的灾害事件（如2020年的案例）分配到最相似的聚类，并检索相关的避难所建议。

实验结果

研究问题

• RQ1 在决策层面进行多模态数据融合，能否提高对伤亡和损失等灾害影响的预测准确率？
• RQ2 在历史灾害数据上使用无监督学习，在多大程度上能够支持针对避难所和住房需求的快速、可操作建议？
• RQ3 人口、地理和灾前空间特征在多大程度上影响灾害响应预测中的聚类结果？
• RQ4 基于开放数据训练的模型能否为现实世界中的人道主义决策者提供可靠、可扩展且可访问的支持？
• RQ5 卫星图像和城市风险指数在多大程度上提升了模型的预测能力和可解释性？

主要发现

• 该模型在训练数据上的预测准确率为62%，在2020年验证数据上的准确率为63%，表明其在影响预测方面具有稳健性。
• 影响聚类结果最重要的特征包括：死亡总人数、受影响人数、总损失（单位：美元）、全球城市风险指数（经济与死亡率）、部门海拔、建筑增加值以及附近行政区域的人口/面积。
• 基于卫星提取的城市特征显著增强了模型区分灾害严重程度和空间背景的能力。
• 训练好的SOM成功地将新灾害事件映射到相似的历史案例，从而实现了与上下文相关的避难所和住房建议的检索。
• 该系统通过提供统一的语义表示，使决策者能够访问历史灾害中的经验教训，从而支持跨组织学习。
• 该方法通过将异构数据转化为单一、可解释的决策空间，实现了快速态势感知，适用于实际操作。