[論文レビュー] Climate Change from Large Language Models

Hongyin Zhu, Prayag Tiwari|arXiv (Cornell University)|Dec 19, 2023

Climate Change Communication and Perception被引用数 4

ひとこと要約

本稿では、ハイブリッドデータ収集アプローチを用いて質問と回答を生成・分析することで、大規模言語モデル（LLMs）の気候変動に関する知識を自動評価するフレームワークを提案する。10の包括的指標（質問用5つ、回答用5つ）を用いた評価により、Llama2-70B や Yi-34B などの最先端LLMsが、関連性や深さにおいて優れたパフォーマンスを示す一方で、気候危機に関する知識の最新性に欠けることが明らかになった。

ABSTRACT

Climate change poses grave challenges, demanding widespread understanding and low-carbon lifestyle awareness. Large language models (LLMs) offer a powerful tool to address this crisis, yet comprehensive evaluations of their climate-crisis knowledge are lacking. This paper proposes an automated evaluation framework to assess climate-crisis knowledge within LLMs. We adopt a hybrid approach for data acquisition, combining data synthesis and manual collection, to compile a diverse set of questions encompassing various aspects of climate change. Utilizing prompt engineering based on the compiled questions, we evaluate the model's knowledge by analyzing its generated answers. Furthermore, we introduce a comprehensive set of metrics to assess climate-crisis knowledge, encompassing indicators from 10 distinct perspectives. These metrics provide a multifaceted evaluation, enabling a nuanced understanding of the LLMs' climate crisis comprehension. The experimental results demonstrate the efficacy of our proposed method. In our evaluation utilizing diverse high-performing LLMs, we discovered that while LLMs possess considerable climate-related knowledge, there are shortcomings in terms of timeliness, indicating a need for continuous updating and refinement of their climate-related content.

研究の動機と目的

• 大規模言語モデル（LLMs）における気候危機知識の包括的評価フレームワークの不足に対処すること。
• 標準的な指標（例：パープレキシティ）を超えて、気候変動に関する事実的知識を評価するための自動的かつスケーラブルな手法を開発すること。
• 構造的な質問・回答分析を通じて、気候分野におけるLLMの評価の解釈可能性と信頼性を向上させること。
• 特に気候情報の最新性に関する、LLM知識における重要なギャップを特定すること。
• LLMsによって駆動されるリアルタイムでエキスパート水準の気候知識システムの基盤を築くこと。

提案手法

• LLMsによるデータ合成と手動のキュ레이ションを組み合わせ、気候危機関連の多様で代表的な質問のセットを生成する。
• プロンプト工学を活用して、これらの質問に対するモデルの応答を引き出し、評価用の質問・回答データセットを構築する。
• 質問評価指標として5つを導入：重要性、明確さ、関連性、難易度、独創性。
• 回答評価指標として5つを導入：関連性、深さ、読みやすさ、独創性、最新性。
• 複数の最先端LLMs（例：Llama2-70B、Yi-34B）を用いて回答とスコアを生成し、結果を統合することで客観性を確保する。
• 二段階の質問取得パイプラインを適用：初期段階でLLMによる生成、その後に人間によるフィードバックを組み込んだ改善プロセスを経て、品質と多様性を保証する。

実験結果

リサーチクエスチョン

• RQ1 LLMsは気候変動関連のトピックについて、高品質で多様な質問をどれほど効果的に生成できるか？
• RQ2 LLMsは気候変動について、正確で最新かつ包括的な回答をどれほど提供できるか？
• RQ3 複数の次元にわたる気候変動に関する知識表現において、異なるLLMsのパフォーマンスはどのように比較できるか？
• RQ4 自動的でマルチメトリックな評価フレームワークは、気候分野におけるLLMの知識を信頼性を持って評価できるか？
• RQ5 現在のLLMsが、時間的に敏感な気候情報の伝達において、どのような主な制限を抱えているか？

主な発見

• 提示された評価フレームワークは、マルチメトリックアプローチにより、LLMの気候変動知識の微細な側面を効果的に捉えている。
• Llama2-70B と Yi-34B は、気候トピック全般において回答の関連性、深さ、読みやすさにおいて優れたパフォーマンスを示した。
• 事実的および構造的パフォーマンスが優れているにもかかわらず、評価されたすべてのLLMsが、情報の最新性において顕著な欠陥を示した。
• ハイブリッドデータ収集法により、原因、影響、緩和、適応をカバーする多様で高品質な質問が成功裏に生成された。
• 回答のスコア付けに複数のLLMsを用いることで、評価結果の客観性が向上し、バイアスが低減された。
• 本研究は、特に急激に進展する気候科学分野において、最新の科学的知見を統合する能力にLLMsが著しく欠けているという深刻なギャップを明らかにした。