[论文解读] Climate Change from Large Language Models

Hongyin Zhu, Prayag Tiwari|arXiv (Cornell University)|Dec 19, 2023

Climate Change Communication and Perception被引用 4

一句话总结

本文提出了一种自动评估框架，通过混合数据收集方法生成并分析问题与答案，以评估大语言模型（LLMs）对气候变化的知识水平。采用10项指标（问题5项，答案5项）进行评估，结果显示，尽管最先进的LLMs（如Llama2-70B和Yi-34B）在相关性和深度方面表现良好，但在气候变化危机知识的时效性方面仍显不足。

ABSTRACT

Climate change poses grave challenges, demanding widespread understanding and low-carbon lifestyle awareness. Large language models (LLMs) offer a powerful tool to address this crisis, yet comprehensive evaluations of their climate-crisis knowledge are lacking. This paper proposes an automated evaluation framework to assess climate-crisis knowledge within LLMs. We adopt a hybrid approach for data acquisition, combining data synthesis and manual collection, to compile a diverse set of questions encompassing various aspects of climate change. Utilizing prompt engineering based on the compiled questions, we evaluate the model's knowledge by analyzing its generated answers. Furthermore, we introduce a comprehensive set of metrics to assess climate-crisis knowledge, encompassing indicators from 10 distinct perspectives. These metrics provide a multifaceted evaluation, enabling a nuanced understanding of the LLMs' climate crisis comprehension. The experimental results demonstrate the efficacy of our proposed method. In our evaluation utilizing diverse high-performing LLMs, we discovered that while LLMs possess considerable climate-related knowledge, there are shortcomings in terms of timeliness, indicating a need for continuous updating and refinement of their climate-related content.

研究动机与目标

• 为解决大语言模型（LLMs）在气候变化危机知识方面缺乏全面评估框架的问题。
• 开发一种自动化、可扩展的方法，用于评估LLMs在气候变化事实知识方面的能力，超越传统的困惑度等指标。
• 通过结构化的问答分析，提升LLM评估在气候领域中的可解释性和可靠性。
• 识别LLM知识中的关键缺口，特别是气候变化信息的时效性方面。
• 为基于LLMs的实时、专家级气候知识系统奠定基础。

提出的方法

• 结合LLMs生成数据与人工筛选，生成多样且具代表性的气候变化危机相关问题集。
• 通过提示工程引导模型对这些问题生成回答，形成用于评估的问答数据集。
• 引入5项问题评估指标：重要性、清晰度、相关性、难度和创新性。
• 引入5项答案评估指标：相关性、深度、可读性、创新性和时效性。
• 使用多个最先进的LLMs（如Llama2-70B、Yi-34B）生成答案与评分，通过聚合结果提升评估客观性。
• 采用两阶段问题获取流程：先由LLM生成，再经人工介入优化，以确保质量和多样性。

实验结果

研究问题

• RQ1 LLMs在生成高质量、多样化气候变化主题问题方面效果如何？
• RQ2 LLMs在气候变化问题上提供的答案在准确性、时效性和全面性方面达到何种程度？
• RQ3 不同LLMs在多个维度上对气候变化知识的表征能力如何比较？
• RQ4 自动化、多指标评估框架能否可靠地评估LLM在气候领域中的知识水平？
• RQ5 当前LLMs在传递时效性气候信息方面存在哪些关键局限？

主要发现

• 所提出的评估框架通过多指标方法，有效捕捉了LLM在气候变化知识方面的细微特征。
• Llama2-70B和Yi-34B在各类气候变化主题中均表现出色，尤其在答案的相关性、深度和可读性方面。
• 尽管在事实准确性和结构表现方面表现良好，但所有评估的LLMs在信息时效性方面均存在显著不足。
• 混合数据收集方法成功生成了覆盖成因、影响、缓解与适应等多方面的多样化、高质量问题。
• 使用多个LLMs对答案进行评分，提升了评估结果的客观性并减少了偏差。
• 研究揭示了LLMs在整合最新科学发现方面存在关键短板，尤其是在快速演化的气候科学领域。