[论文解读] CLLMate: A Multimodal Benchmark for Weather and Climate Events Forecasting

Haobo Li, Zhaowei Wang+4 more|arXiv (Cornell University)|Sep 27, 2024

Advanced Computational Techniques and Applications被引用 4

一句话总结

本文提出CLLMate，一种多模态大语言模型，通过将气象栅格数据与基于41,000篇环境新闻文章构建的知识图谱对齐，实现对开放集天气与气候事件的预测。该模型在基线模型及现有多模态大语言模型中表现更优，证明了基于大语言模型的多模态对齐在全面环境风险预测中的可行性。

ABSTRACT

Forecasting weather and climate events is crucial for making appropriate measures to mitigate environmental hazards and minimize losses. However, existing environmental forecasting research focuses narrowly on predicting numerical meteorological variables (e.g., temperature), neglecting the translation of these variables into actionable textual narratives of events and their consequences. To bridge this gap, we proposed Weather and Climate Event Forecasting (WCEF), a new task that leverages numerical meteorological raster data and textual event data to predict weather and climate events. This task is challenging to accomplish due to difficulties in aligning multimodal data and the lack of supervised datasets. To address these challenges, we present CLLMate, the first multimodal dataset for WCEF, using 26,156 environmental news articles aligned with ERA5 reanalysis data. We systematically benchmark 23 existing MLLMs on CLLMate, including closed-source, open-source, and our fine-tuned models. Our experiments reveal the advantages and limitations of existing MLLMs and the value of CLLMate for the training and benchmarking of the WCEF task.

研究动机与目标

• 填补传统数值变量预测无法捕捉开放集天气与气候事件的预测空白。
• 克服因缺乏监督数据集而导致的多模态数据对齐挑战，特别是气象栅格数据与文本事件描述之间的对齐。
• 通过利用大语言模型将气象数据与从环境新闻中提取的事件关联，构建大规模、监督式的多模态数据集。
• 开发一种多模态大语言模型CLLMate，能够预测超出预定义封闭集类别的多样化、真实世界的天气与气候事件。
• 为世界气候研究计划（WCRP）的“我的气候风险”灯塔计划提供实用的区域气候风险预测解决方案。

提出的方法

• 使用大语言模型（LLM）从41,000篇聚焦环境的新闻文章语料中提取与事件相关的信息（如事件类型、地点、时间、影响等）。
• 从提取的事件数据中构建知识图谱，以表示事件及其上下文属性之间的关系。
• 通过时空对齐，将历史气象栅格数据（如温度、气压、风速）映射到知识图谱中的事件。
• 通过将气象序列与相应的文本事件描述配对，构建用于训练的监督式多模态指令数据集。
• 训练CLLMate，一种多模态大语言模型，该模型使用视觉编码器处理气象栅格数据，并将特征投影到大语言模型空间以实现联合推理。
• 通过使用强大多模态大语言模型生成的合成数据，采用任务格式提示进行指令微调，使模型输出与WCEF任务对齐。

Figure 1. The multipart LLM prompt for extracting weather and climate events and their relationships.

实验结果

研究问题

• RQ1 大语言模型能否有效从非结构化的环境新闻文章中提取并结构化事件信息，以支持多模态预测？
• RQ2 如何可靠地将气象栅格数据与文本形式的天气与气候事件对齐，以构建监督数据集？
• RQ3 像CLLMate这样的多模态大语言模型能否在开放集天气与气候事件预测中超越传统基线模型和现有多模态大语言模型？
• RQ4 数值气象数据与文本事件描述之间的多模态对齐对预测准确率有何影响？
• RQ5 基于大语言模型的模型在预测超出预定义事件类型的复杂、真实环境风险场景方面，其泛化能力如何？

主要发现

• CLLMate在天气与气候事件预测方面，优于所有基线模型和现有多模态大语言模型。
• 所构建的数据集源自41,000篇新闻文章，并与气象数据对齐，是目前最大且最新颖的用于WCEF任务微调的监督数据集。
• 基于知识图谱的新闻文章事件提取方法，能有效识别多样化的真实世界事件，包括次级和三级影响。
• 利用视觉编码器处理栅格数据、大语言模型处理文本的多模态对齐方法，显著提升了开放集事件的预测准确率。
• 通过使用合成的、任务格式的指令微调数据，增强了模型生成准确、上下文感知预测的能力。
• CLLMate在预测复杂、非封闭集事件（如极端天气引发的基础设施故障）方面表现出强大的泛化能力，而这些事件常被传统方法所遗漏。

Figure 2. The knowledge graph of weather and climate events and its natural language description.