[论文解读] Global Flood Prediction: a Multimodal Machine Learning Approach

Cynthia Zeng, Dimitris Bertsimas|arXiv (Cornell University)|Jan 29, 2023

Flood Risk Assessment and Management被引用 6

一句话总结

本文提出了一种多模态机器学习框架，结合表格形式的历史洪水数据与来自维基百科的基于文本的地理描述，以预测1至5年期的全球洪水风险。通过使用DistilBERT进行迁移学习以提取地理文本的上下文嵌入，该模型在ROCAUC指标上达到75%–77%，优于单模态和基线模型，证明了整合文本地理空间上下文对长期灾害预测的价值。

ABSTRACT

Flooding is one of the most destructive and costly natural disasters, and climate changes would further increase risks globally. This work presents a novel multimodal machine learning approach for multi-year global flood risk prediction, combining geographical information and historical natural disaster dataset. Our multimodal framework employs state-of-the-art processing techniques to extract embeddings from each data modality, including text-based geographical data and tabular-based time-series data. Experiments demonstrate that a multimodal approach, that is combining text and statistical data, outperforms a single-modality approach. Our most advanced architecture, employing embeddings extracted using transfer learning upon DistilBert model, achieves 75\%-77\% ROCAUC score in predicting the next 1-5 year flooding event in historically flooded locations. This work demonstrates the potentials of using machine learning for long-term planning in natural disaster management.

研究动机与目标

• 开发一个超越短期物理模型的全球性、多年期洪水风险预测系统。
• 探究整合基于文本的地理描述是否能提升长期洪水预测的准确性。
• 评估多模态学习（结合统计与文本数据）相较于单模态方法的有效性。
• 展示该框架在其他自然灾害（如野火和干旱）中的可推广性。
• 提供一种可扩展、数据驱动的工具，用于长期灾害准备与基础设施规划。

提出的方法

• 该框架处理两种数据模态：来自GDIS和EM-DAT数据集的表格时间序列数据，以及来自维基百科的基于文本的地理描述。
• 使用Wikipedia-API提取地理文本，并通过同义词匹配解决地名变体问题。
• 通过DistilBERT生成文本嵌入，包含三种变体：(1) 原始冻结模型，(2) 在洪水频率上微调，(3) 使用32维投影头进行迁移学习。
• 统计特征包括24个变量，如洪水次数、损失成本和年份，灾害类型采用独热编码。
• 多模态预测通过前馈神经网络中的早期融合方式，结合统计特征与文本嵌入实现。
• 模型训练采用二分类任务，正样本定义为历史洪水次数超过2次的地点，评估通过样本外ROCAUC、准确率、F1和平衡准确率进行。

实验结果

研究问题

• RQ1 整合基于文本的地理描述是否能超越传统统计模型，提升长期全球洪水风险预测性能？
• RQ2 结合表格与文本数据的多模态机器学习方法，在预测1–5年洪水风险方面，相较于单模态模型表现如何？
• RQ3 对预训练语言模型（如DistilBERT）进行微调或迁移学习，是否能提升在地理空间文本上的洪水预测性能？
• RQ4 与假设当前风险将保持不变的确定性基线相比，引入文本上下文能在多大程度上降低预测误差？
• RQ5 该框架是否可推广至其他自然灾害类型（如干旱或野火）？

主要发现

• 采用迁移学习与DistilBERT的多模态模型在1–5年洪水风险预测中达到75%–77%的ROCAUC，显著优于单模态模型。
• 表现最佳的多模态架构在ROCAUC上比基线模型提升42个百分点，在平衡准确率上提升25个百分点。
• 仅使用统计数据的单模态模型在ROCAUC上比基线模型提升35个百分点，表明历史数据本身具有显著的预测能力。
• 对预训练DistilBERT进行微调或直接使用其原始权重，并未提升性能，超过单模态基线，凸显了任务特定适配的迁移学习的必要性。
• 该框架在其他灾害类型中也表现出良好的泛化能力，表明其在长期自然灾害预测中具有广泛适用性。