[论文解读] LLM Comparative Assessment: Zero-shot NLG Evaluation through Pairwise Comparisons using Large Language Models

Adian Liusie, Potsawee Manakul+1 more|arXiv (Cornell University)|Jul 15, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文提出一种基于大语言模型（LLMs）的零样本、成对比较评估方法，用于自动自然语言生成（NLG）评估。通过提示LLM逐对比较两个NLG输出，而非分配绝对分数，该方法在中等规模开源模型（如FlanT5和Llama2）上表现出优越性能，同时通过去偏技术识别并缓解了强烈的顺序偏差。

ABSTRACT

Current developments in large language models (LLMs) have enabled impressive zero-shot capabilities across various natural language tasks. An interesting application of these systems is in the automated assessment of natural language generation (NLG), a highly challenging area with great practical benefit. In this paper, we explore two options for exploiting the emergent abilities of LLMs for zero-shot NLG assessment: absolute score prediction, and comparative assessment which uses relative comparisons between pairs of candidates. Though comparative assessment has not been extensively studied in NLG assessment, we note that humans often find it more intuitive to compare two options rather than scoring each one independently. This work examines comparative assessment from multiple perspectives: performance compared to absolute grading; positional biases in the prompt; and efficient ranking in terms of the number of comparisons. We illustrate that LLM comparative assessment is a simple, general and effective approach for NLG assessment. For moderate-sized open-source LLMs, such as FlanT5 and Llama2-chat, comparative assessment is superior to prompt scoring, and in many cases can achieve performance competitive with state-of-the-art methods. Additionally, we demonstrate that LLMs often exhibit strong positional biases when making pairwise comparisons, and we propose debiasing methods that can further improve performance.

研究动机与目标

• 探究在使用LLM进行零样本NLG评估时，NLG输出之间的成对比较是否比绝对分数预测更有效。
• 评估中等规模开源LLM在多种NLG任务和属性上进行成对评估的性能。
• 识别并解决基于LLM的成对比较中的位置偏差问题，该偏差可能扭曲排名结果。
• 评估子集比较选择策略在实现可扩展且准确的排名时的效率，同时最小化比较次数。
• 证明成对评估可在无需人工标注参考文本的情况下，实现最先进或接近最先进性能。

提出的方法

• 采用零样本提示策略，即让LLM比较两个NLG输出，并根据特定属性（如连贯性、流畅性）选择更优者。
• 通过传递推理或排序算法将成对比较结果转化为排名，从而实现对多个候选输出的完整系统比较。
• 实施一种去偏方法：反转候选对的顺序并取预测平均值，以减少位置偏差。
• 评估比较选择策略：随机、无重复和对称（双向比较），在保持排名准确性的同时最小化计算成本。
• 使用斯皮尔曼等级相关系数和成对准确率指标，将排名质量与人工黄金标准得分进行评估。
• 在多个NLG基准（包括SummEval）上应用该框架，涵盖连贯性、流畅性和相关性等多种属性。

Figure 1: Prompt Scoring v.s. Comparative Assessment. Comparative Assessment prompts an LLM to compare candidates in a pairwise manner, and the comparisons are subsequently converted into scores or ranks.

实验结果

研究问题

• RQ1 对于中等规模LLM，成对比较评估是否在零样本NLG评估中优于绝对分数预测？
• RQ2 LLM比较中的位置偏差在多大程度上影响排名性能？是否可有效缓解？
• RQ3 当仅使用部分成对比较时，排名过程的效率如何？哪种选择策略在成本与准确性之间达到最佳平衡？
• RQ4 成对评估是否可在多种NLG属性和任务上实现与最先进自动评估方法相当的性能？
• RQ5 LLM成对比较在不同候选子集上的表现是否一致？随着比较次数增加，自一致性是否提升？

主要发现

• 成对评估显著优于中等规模LLM（如FlanT5-xl和Llama2-chat）的提示打分方法，在多个NLG属性上达到最先进或接近最先进性能。
• 成对比较准确率在不同任务中为60%至80%，去偏处理显著提升了准确率，尤其在高偏差场景下效果明显。
• 自一致性分析表明，仅使用16个摘要中的8个进行比较，其排名准确率即可达到完整排名的95.5%，表明在少量比较下仍具高度稳定性。
• 对称比较选择方案的性能几乎与无重复选择方案相当，但比较次数减少一半，效率更高。
• 去偏方法带来了显著的性能提升，尤其在比较数量较少时，凸显了位置偏差的显著影响。
• 即使比较次数有限（如R < 100），该方法仍保持高斯皮尔曼相关系数（如SummEval上COH指标>0.93），证明了其可扩展性和鲁棒性。

Figure 2: Comparative prompt template 1 and 2. When assessing different attributes, only the attribute is changed (e.g., consistent $\rightarrow$ engaging) and for response assessment, the word ‘summary’ is replaced with ‘response’.