[논문 리뷰] CLLMate: A Multimodal Benchmark for Weather and Climate Events Forecasting

Haobo Li, Zhaowei Wang외 4명|arXiv (Cornell University)|2024. 09. 27.

Advanced Computational Techniques and Applications인용 수 4

한 줄 요약

이 논문은 기상 래스터 데이터와 텍스트 기반 사건 기술을 지식 그래프를 통해 정렬함으로써 개방집합 기상 및 기후 사건을 예측하는 다중모달 대규모 언어 모델인 CLLMate를 소개한다. 이 지식 그래프는 41,000건의 환경 뉴스 기사에서 유래하였다. 모델은 기존의 기준 모델들과 기존의 다중모달 LLM을 초월하며, LLM 기반의 다중모달 정렬이 종합적인 환경 위험 예측에 가능하다는 것을 입증한다.

ABSTRACT

Forecasting weather and climate events is crucial for making appropriate measures to mitigate environmental hazards and minimize losses. However, existing environmental forecasting research focuses narrowly on predicting numerical meteorological variables (e.g., temperature), neglecting the translation of these variables into actionable textual narratives of events and their consequences. To bridge this gap, we proposed Weather and Climate Event Forecasting (WCEF), a new task that leverages numerical meteorological raster data and textual event data to predict weather and climate events. This task is challenging to accomplish due to difficulties in aligning multimodal data and the lack of supervised datasets. To address these challenges, we present CLLMate, the first multimodal dataset for WCEF, using 26,156 environmental news articles aligned with ERA5 reanalysis data. We systematically benchmark 23 existing MLLMs on CLLMate, including closed-source, open-source, and our fine-tuned models. Our experiments reveal the advantages and limitations of existing MLLMs and the value of CLLMate for the training and benchmarking of the WCEF task.

연구 동기 및 목표

• 기존의 수치 변수 예측으로는 포착되지 않는 개방집합 기상 및 기후 사건을 예측하는 데 있어 발생하는 격차를 해결한다.
• 감독 데이터셋이 부족한 상황에서 기상 래스터 데이터와 텍스트 기반 사건 기술 간의 정렬 과제를 극복한다.
• LLM를 활용해 환경 뉴스 기사에서 추출한 사건과 기상 데이터를 연결함으로써 대규모 감독형 다중모달 데이터셋을 구축한다.
• 사전에 정의된 닫힘집합 카테고리 외의 다양한 실제 기상 및 기후 사건을 예측할 수 있는 다중모달 LLM, CLLMate를 개발한다.
• WCRP의 지역 기후 위험 예측을 위한 "내 기후 위험" 라이트하우스 이니셔티브에 실용적인 해결책을 기여한다.

제안 방법

• 41,000건의 환경 중심 뉴스 기사 코퍼스에서 사건 관련 정보(예: 유형, 위치, 시간, 영향)를 추출하기 위해 대규모 언어 모델(LLM)를 사용한다.
• 추출된 사건 데이터에서 지식 그래프를 구축하여 사건 간 관계 및 그 맥락적 특성 간의 관계를 표현한다.
• 공간-시간 정렬을 통해 역사적 기상 래스터 데이터(예: 기온, 기압, 바람)를 지식 그래프 내의 사건에 매핑한다.
• 기상 시계열 데이터와 해당되는 텍스트 기반 사건 기술을 쌍으로 묶어 감독형 다중모달 지시 데이터셋을 생성한다.
• 기상 래스터 데이터를 처리하기 위해 시각 인코더를 사용하고, 특징을 LLM 공간으로 투영하여 공동 추론을 수행하는 다중모달 LLM인 CLLMate를 훈련시킨다.
• 강력한 LLM을 활용해 생성한 합성 데이터를 사용하여 작업 형식의 프롬프트를 적용해 지시 훈련을 수행함으로써 모델의 출력을 WCEF 작업에 맞춘다.

Figure 1. The multipart LLM prompt for extracting weather and climate events and their relationships.

실험 결과

연구 질문

• RQ1 LLM는 비정형 환경 뉴스 기사에서 사건 정보를 효과적으로 추출하고 구조화하여 다중모달 예측을 지원할 수 있는가?
• RQ2 기상 래스터 데이터를 텍스트 기반 기상 및 기후 사건과 신뢰성 있게 정렬하여 감독형 데이터셋을 구성할 수 있는가?
• RQ3 CLLMate와 같은 다중모달 LLM은 기존의 기준 모델들과 기존의 다중모달 LLM을 초월하여 개방집합 기상 및 기후 사건을 예측할 수 있는가?
• RQ4 수치 기상 데이터와 텍스트 기반 사건 기술 간의 다중모달 정렬이 예측 정확도에 미치는 영향은 무엇인가?
• RQ5 LLM 기반 모델은 사전 정의된 사건 유형 외의 복잡한 실제 환경 위험 시나리오에 얼마나 잘 일반화될 수 있는가?

주요 결과

• CLLMate는 모든 기준 모델과 기존의 다중모달 LLM을 초월하여 기상 및 기후 사건 예측에서 뛰어난 성능을 보였다.
• 41,000건의 뉴스 기사에서 유래하고 기상 데이터와 정렬된 데이터셋은 WCEF 작업 튜닝을 위한 가장 크고 새로운 감독형 데이터셋이다.
• 뉴스 기사에서 지식 그래프 기반의 사건 추출은 다양한 실제 사건, 특히 제2차 및 제3차 영향까지 효과적으로 식별할 수 있도록 한다.
• 래스터 데이터에 대한 시각 인코더와 텍스트에 대한 LLM을 활용한 다중모달 정렬은 개방집합 사건에 대한 예측 정확도를 크게 향상시킨다.
• 합성 데이터를 활용한 작업 형식의 지시 훈련은 모델이 정확하고 맥락 인식 능력을 갖춘 예측을 생성하는 데 능력을 향상시킨다.
• CLLMate는 기존 방법으로는 자주 간과되는 극단적 기상으로 인한 인프라 고장과 같은 복잡한 비닫힘집합 사건에 대해 강력한 일반화 능력을 보였다.

Figure 2. The knowledge graph of weather and climate events and its natural language description.