[论文解读] Automated Evaluation of Personalized Text Generation using Large Language Models

Yaqing Wang, Jiepu Jiang+5 more|arXiv (Cornell University)|Oct 17, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文提出 AuPEL，一种新颖的个性化文本生成自动化评估框架，利用大语言模型（LLMs）评估个性化、质量与相关性三个关键维度，且无需依赖人工标注的参考文本。AuPEL 在准确性、一致性和敏感性方面优于人工标注者及传统指标（如 BLEU 和 ROUGE），尤其在检测超出词汇相似性的细微个性化特征方面表现更优。

ABSTRACT

Personalized text generation presents a specialized mechanism for delivering content that is specific to a user's personal context. While the research progress in this area has been rapid, evaluation still presents a challenge. Traditional automated metrics such as BLEU and ROUGE primarily measure lexical similarity to human-written references, and are not able to distinguish personalization from other subtle semantic aspects, thus falling short of capturing the nuances of personalized generated content quality. On the other hand, human judgments are costly to obtain, especially in the realm of personalized evaluation. Inspired by these challenges, we explore the use of large language models (LLMs) for evaluating personalized text generation, and examine their ability to understand nuanced user context. We present AuPEL, a novel evaluation method that distills three major semantic aspects of the generated text: personalization, quality and relevance, and automatically measures these aspects. To validate the effectiveness of AuPEL, we design carefully controlled experiments and compare the accuracy of the evaluation judgments made by LLMs versus that of judgements made by human annotators, and conduct rigorous analyses of the consistency and sensitivity of the proposed metric. We find that, compared to existing evaluation metrics, AuPEL not only distinguishes and ranks models based on their personalization abilities more accurately, but also presents commendable consistency and efficiency for this task. Our work suggests that using LLMs as the evaluators of personalized text generation is superior to traditional text similarity metrics, even though interesting new challenges still remain.

研究动机与目标

• 解决个性化文本生成缺乏稳健、自动化评估方法的问题，且不依赖于成本高昂的人工标注参考文本。
• 开发一种能够区分个性化与一般质量及相关性的评估框架，而传统指标（如 BLEU 和 ROUGE）无法捕捉此类差异。
• 评估大语言模型是否可作为可靠、一致且敏感的评估者，相较于人工标注者，用于个性化文本生成的评估。
• 通过受控实验与跨模型尺寸及用户配置的成对比较，验证基于大语言模型的评估方法的有效性。

提出的方法

• AuPEL 使用大语言模型作为评估者，对两个文本生成系统在个性化、质量与相关性三个维度上进行成对比较。
• 大语言模型评估者被提示判断在每个维度上哪一份生成文本更优，并提供支持理由的相对偏好。
• 该框架依赖大语言模型理解用户特定上下文的能力，包括个性化词汇、语调、写作风格与个体视角。
• 评估结果通过 Elo 评分系统聚合，生成跨模型的稳健、对比性基准。
• 该方法设计为无参考文本，避免对在个性化场景中往往不可用或不切实际的人工参考文本的依赖。
• 开展受控的消融研究，以验证个性化与相关性是独立且可度量的维度。

Figure 1 . Agreement between evaluators and assumed truth (GOLD ¿ XXL ¿ XL) at test case level; error bars represent 95% confidence intervals. AuPEL is more accurate than human raters and traditional NLG metrics.

实验结果

研究问题

• RQ1 大语言模型能否在不依赖人工标注参考文本的情况下，准确评估个性化文本生成？
• RQ2 大语言模型评估者在评估个性化、质量与相关性方面，与人工标注者的性能相比如何？
• RQ3 大语言模型评估者的规模是否影响其检测个性化细微差异的能力？
• RQ4 AuPEL 是否能以高敏感性与一致性，区分在模型规模、用户配置与生成上下文上存在差异的模型？

主要发现

• 大语言模型评估者对用户撰写与模型生成文本的作者归属判断准确率达到 90%，优于人工标注者的约 70%。
• AuPEL 与人工撰写参考文本的一致性高于人工标注者，表明其在个性化评估方面具有更高的准确性。
• 更大的大语言模型评估者（PaLM 2-IT-L）在个性化评估上显著优于较小模型（PaLM 2-IT-S），后者在成对比较中产生了超过 30% 的平局。
• AuPEL 即使在测试样本数量较少的情况下，也能实现近乎完美的稳定性和敏感性，且无需人工标注。
• 消融研究显示，该框架成功将个性化与一般质量及相关性分离，当相关性与个性化被解耦时，其有效性得到验证。
• AuPEL 的 Elo 评分提供了稳健、客观的模型比较基准，其对模型规模与用户配置差异的敏感性高于传统指标。

Figure 2 . Estimated consistency of AuPEL , human raters, and NLG metrics for comparing T5 XL vs. T5 XXL generators.