[論文レビュー] A Closer Look into Automatic Evaluation Using Large Language Models

Cheng-Han Chiang, Hung-yi Lee|arXiv (Cornell University)|Oct 9, 2023

Topic Modeling被引用数 4

ひとこと要約

本論文は、LLMベースの自動評価における設計選択について調査し、LLM Evaluation (Chiang and Lee, 2023) と G-Eval (Liu et al., 2023) を比較する。LLMに数値スコアのみを出力させることで、人間の判断との相関が損なわれることが判明した一方、根拠（自己説明）を要求することで、相関が著しく向上することが示された。本研究では、2つのメタ評価データセットにおいて、GPT-4を用いた先行研究を上回る最先端の相関スコアを達成した。

ABSTRACT

Using large language models (LLMs) to evaluate text quality has recently gained popularity. Some prior works explore the idea of using LLMs for evaluation, while they differ in some details of the evaluation process. In this paper, we analyze LLM evaluation (Chiang and Lee, 2023) and G-Eval (Liu et al., 2023), and we discuss how those details in the evaluation process change how well the ratings given by LLMs correlate with human ratings. We find that the auto Chain-of-Thought (CoT) used in G-Eval does not always make G-Eval more aligned with human ratings. We also show that forcing the LLM to output only a numeric rating, as in G-Eval, is suboptimal. Last, we reveal that asking the LLM to explain its own ratings consistently improves the correlation between the ChatGPT and human ratings and pushes state-of-the-art (SoTA) correlations on two meta-evaluation datasets.

研究の動機と目的

• LLMベースの自動評価における、人間の評価との整合性を高めるために重要な設計要因を特定すること。
• 特に自動 Chain-of-Thought (CoT) と出力形式の違いが、評価性能に与える影響を比較すること。
• LLMの出力を数値スコアのみに制限することが、人間と整合する評価において最適であるかどうかを特定すること。
• 既存のメタ評価ベンチマークで、LLMの評価と人間の評価との間の相関を最先端の水準に改善すること。

提案手法

• SummEval（要約）および Topical-Chat（対話）の2つのメタ評価データセットを用いたアブレーションスタディを実施。
• 2つのプロンプト戦略を比較：LLM Evaluation（自由形式のスコア評価質問）と G-Eval（数値のみの出力プロンプト）。
• 自動 Chain-of-Thought (CoT) 生成が評価ステップに与える影響を評価し、人間が作成した基準とLLMが生成した基準を対比。
• Pearson相関係数と Kendall’s tau を用いて、LLMのスコアと人間のアノテーションとの整合性を測定。
• 複数の出力形式（'スコアのみ'、'評価＋説明'、'分析＋評価'）をテストし、根拠提示の効果を評価。
• 推論には GPT-3.5-turbo と GPT-4 を使用し、各サンプルあたり20回のスコアを平均化してばらつきを低減。

実験結果

リサーチクエスチョン

• RQ1 自動 Chain-of-Thought (CoT) 生成は、人間の評価との相関を、人間が作成した評価ステップよりも向上させるか？
• RQ2 LLMの出力を数値スコアのみに制限することは、人間と整合する評価において最適か？
• RQ3 LLMにその評価根拠を説明させること（根拠提示）は、人間の判断との相関を向上させるか？
• RQ4 提案されたプロンプト戦略は、SummEval や Topical-Chat のようなメタ評価ベンチマークで最先端の相関を達成できるか？
• RQ5 出力形式の違い（例：'評価＋説明' 対 'スコアのみ'）は、LLMベースの評価の信頼性と人間との整合性にどのように影響するか？

主な発見

• 自動 Chain-of-Thought (CoT) 生成は、人間の評価との相関を一貫して向上させるわけではない。一部のケースでは、整合性が低下する場合もあった。
• LLMの出力を数値スコアのみに制限することは、非効率であり、人間の判断との相関を低下させる。
• LLMにその評価根拠を自己説明させることで、人間の評価との相関が顕著に向上する。
• 提案手法は、SummEval および Topical-Chat の両方で最先端の相関スコアを達成し、一部の結果では GPT-4 を用いた先行研究を上回った。
• '評価＋説明' の出力形式は、'スコアのみ' や '分析＋評価' よりも、人間のアノテーションとの相関において一貫して優れていた。