[논문 리뷰] Climate Change from Large Language Models

Hongyin Zhu, Prayag Tiwari|arXiv (Cornell University)|2023. 12. 19.

Climate Change Communication and Perception인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)의 기후 변화 지식을 평가하기 위해 하이브리드 데이터 수집 방법을 활용해 질문과 답변을 생성하고 분석하는 자동 평가 프레임워크를 제안한다. 질문 5개와 답변 5개의 총 10개의 포괄적 지표를 사용한 평가에서, Llama2-70B와 Yi-34B를 포함한 최신 기술의 LLMs는 관련성과 깊이 면에서는 뛰어난 성능을 보였지만 기후 위기 지식의 최신성 측면에서는 빈도가 떨어지는 것으로 드러났다.

ABSTRACT

Climate change poses grave challenges, demanding widespread understanding and low-carbon lifestyle awareness. Large language models (LLMs) offer a powerful tool to address this crisis, yet comprehensive evaluations of their climate-crisis knowledge are lacking. This paper proposes an automated evaluation framework to assess climate-crisis knowledge within LLMs. We adopt a hybrid approach for data acquisition, combining data synthesis and manual collection, to compile a diverse set of questions encompassing various aspects of climate change. Utilizing prompt engineering based on the compiled questions, we evaluate the model's knowledge by analyzing its generated answers. Furthermore, we introduce a comprehensive set of metrics to assess climate-crisis knowledge, encompassing indicators from 10 distinct perspectives. These metrics provide a multifaceted evaluation, enabling a nuanced understanding of the LLMs' climate crisis comprehension. The experimental results demonstrate the efficacy of our proposed method. In our evaluation utilizing diverse high-performing LLMs, we discovered that while LLMs possess considerable climate-related knowledge, there are shortcomings in terms of timeliness, indicating a need for continuous updating and refinement of their climate-related content.

연구 동기 및 목표

• 대규모 언어 모델(LLMs)의 기후 위기 지식에 대한 종합적인 평가 프레임워크 부족 문제를 해결하기 위해.
• 기본 지표인 퍼플렉서티 외의 사실 지식 평가를 넘어 기후 변화에 대한 LLM의 사실성 평가를 자동화하고 확장 가능한 방법으로 개발하기 위해.
• 구조화된 질문-답변 분석을 통해 기후 분야에서 LLM 평가의 해석 가능성과 신뢰성을 향상시키기 위해.
• 특히 기후 정보의 최신성 측면에서 LLM 지식의 핵심 격차를 특정하기 위해.
• LLM 기반 실시간 전문 수준의 기후 지식 시스템을 위한 기반을 마련하기 위해.

제안 방법

• LLM 기반의 데이터 합성과 수동 코딩을 융합하여 기후 위기 관련 다양한 대표성 있는 질문 세트를 생성한다.
• 프롬프트 엔지니어링을 활용해 모델의 질문에 대한 응답을 유도하고, 평가를 위한 질문-답변 데이터셋을 구성한다.
• 질문 평가 지표 5개를 도입: 중요도, 명확성, 관련성, 난이도, 창의성.
• 답변 평가 지표 5개를 도입: 관련성, 깊이, 가독성, 창의성, 최신성.
• 여러 최신 기술의 LLMs(예: Llama2-70B, Yi-34B)를 활용해 답변과 점수를 생성하고, 결과를 집계하여 객관성을 확보한다.
• 이중 단계 질문 확보 파이프라인을 적용: 초기 LLM 생성 후 인간의 참여를 통한 보완을 통해 품질과 다양성을 확보한다.

실험 결과

연구 질문

• RQ1 LLM은 기후 변화 주제에 대해 고품질이고 다양한 질문을 얼마나 효과적으로 생성할 수 있는가?
• RQ2 LLM은 기후 변화에 대해 얼마나 정확하고 최신이며 종합적인 답변을 제공하는가?
• RQ3 다양한 차원에서 기후 변화 지식 표현 측면에서 서로 다른 LLM들은 어떻게 비교 가능한가?
• RQ4 자동화된 다중 지표 평가 프레임워크는 기후 도메인에서 LLM 지식을 신뢰성 있게 평가할 수 있는가?
• RQ5 현재의 LLM은 시간 민감도가 높은 기후 정보 전달 측면에서 어떤 주요 한계를 지니는가?

주요 결과

• 제안된 평가 프레임워크는 다중 지표 접근을 통해 LLM의 기후 변화 지식에 대한 미세한 특징을 효과적으로 포착한다.
• Llama2-70B와 Yi-34B는 기후 주제 전반에 걸쳐 답변의 관련성, 깊이, 가독성 면에서 뛰어난 성능을 보였다.
• 강력한 사실성과 구조적 성능에도 불구하고, 평가된 모든 LLM은 정보의 최신성 측면에서 심각한 한계를 보였다.
• 하이브리드 데이터 수집 방법은 원인, 영향, 완화, 적응을 포함한 다양한 고급 질문을 효과적으로 생성하였다.
• 답변 점수 평가에 여러 LLM을 활용함으로써 평가 결과의 객관성 향상과 편향 감소가 이루어졌다.
• 본 연구는 LLM이 빠르게 변화하는 기후 과학 분야에서 최신 과학적 성과를 통합하는 데에 핵심적인 격차를 드러냈다.