[論文レビュー] CLLMate: A Multimodal Benchmark for Weather and Climate Events Forecasting

Haobo Li, Zhaowei Wang+4 more|arXiv (Cornell University)|Sep 27, 2024

Advanced Computational Techniques and Applications被引用数 4

ひとこと要約

本稿では、41,000件の環境関連ニュース記事から構築した知識グラフを用いて気象ラスタデータとテキストによるイベント記述を統合することで、オープンセットの気象・気候イベントを予測するマルチモーダル大規模言語モデルであるCLLMateを紹介する。モデルはベースラインおよび既存のマルチモーダルLLMを上回り、LLMを用いたマルチモーダル統合の可能性を示している。

ABSTRACT

Forecasting weather and climate events is crucial for making appropriate measures to mitigate environmental hazards and minimize losses. However, existing environmental forecasting research focuses narrowly on predicting numerical meteorological variables (e.g., temperature), neglecting the translation of these variables into actionable textual narratives of events and their consequences. To bridge this gap, we proposed Weather and Climate Event Forecasting (WCEF), a new task that leverages numerical meteorological raster data and textual event data to predict weather and climate events. This task is challenging to accomplish due to difficulties in aligning multimodal data and the lack of supervised datasets. To address these challenges, we present CLLMate, the first multimodal dataset for WCEF, using 26,156 environmental news articles aligned with ERA5 reanalysis data. We systematically benchmark 23 existing MLLMs on CLLMate, including closed-source, open-source, and our fine-tuned models. Our experiments reveal the advantages and limitations of existing MLLMs and the value of CLLMate for the training and benchmarking of the WCEF task.

研究の動機と目的

• 従来の数値変数予測では捉えきれないオープンセットの気象・気候イベントを予測するというギャップに対処する。
• 教師ありデータセットの不足により、気象ラスタデータとテキストによるイベント記述を統合する課題を克服する。
• LLMを用いて環境関連ニュース記事から抽出したイベントと気象データをリンクすることで、大規模で教師ありのマルチモーダルデータセットを構築する。
• 事前に定義されたクローズドセットのカテゴリにとらわれない、多様で現実世界の気象・気候イベントを予測可能なマルチモーダルLLM、CLLMateを開発する。
• WCRPの「My Climate Risk」ライトハウス・イニシアチブにおける地域気候リスク予測の実用的解決策を提供する。

提案手法

• 41,000件の環境関連ニュース記事のコーパスから、LLMを用いてイベント関連情報（例：種別、場所、時刻、影響）を抽出する。
• 抽出されたイベントデータから知識グラフを構築し、イベントとその文脈的属性の関係を表現する。
• 空間的・時間的整合性を用いて、歴史的気象ラスタデータ（例：温度、気圧、風速）を知識グラフ内のイベントにマッピングする。
• 気象データの系列と対応するテキストによるイベント記述をペアリングすることで、教師ありマルチモーダルインstructデータセットを構築する。
• 視覚エンコーダーを用いて気象ラスタデータを処理し、特徴量をLLM空間に投影することで、統合的推論が可能なマルチモーダルLLM、CLLMateを訓練する。
• 強力なLLMによって生成された合成データを用い、タスク形式のプロンプトによるインstructチューニングを実施し、モデル出力をWCEFタスクに一致させる。

Figure 1. The multipart LLM prompt for extracting weather and climate events and their relationships.

実験結果

リサーチクエスチョン

• RQ1 LLMは、非構造的環境ニュース記事から効果的にイベント情報を抽出・構造化できるか、これによりマルチモーダル予測が可能になるか？
• RQ2 気象ラスタデータをテキストによる気象・気候イベントと信頼性高く統合し、教師ありデータセットを構築する方法は何か？
• RQ3 CLLMateのようなマルチモーダルLLMは、従来のベースラインおよび既存のマルチモーダルLLMに比べ、オープンセットの気象・気候イベント予測で優れた性能を示せるか？
• RQ4 数値的気象データとテキストによるイベント記述とのマルチモーダル統合が、予測精度に与える影響は何か？
• RQ5 LLMベースのモデルは、事前に定義されたイベントタイプを超えて、複雑な現実世界の環境リスクシナリオにどの程度一般化できるか？

主な発見

• CLLMateは、すべてのベースラインモデルおよび既存のマルチモーダルLLMに比べ、気象・気候イベント予測において優れた性能を発揮した。
• 41,000件のニュース記事から抽出され、気象データと統合された本研究で構築されたデータセットは、WCEFタスクのチューニングに用いる最大規模かつ最も新規な教師ありデータセットである。
• ニュース記事からの知識グラフベースのイベント抽出により、二次的・三次的影響を含む多様で現実世界のイベントの特定が効果的に行えるようになった。
• ラスタデータに視覚エンコーダー、テキストにLLMを用いたマルチモーダル統合は、オープンセットイベントの予測精度を顕著に向上させた。
• 合成データを用いたタスク形式のインストラクションチューニングにより、モデルの文脈に即した正確な予測生成能力が向上した。
• CLLMateは、極端な気象によるインfra構造の損傷など、従来の方法では見逃されがちな複雑な非クローズドセットイベントに対しても、優れた一般化能力を示した。

Figure 2. The knowledge graph of weather and climate events and its natural language description.