[论文解读] GPTScore: Evaluate as You Desire

Jinlan Fu, See-Kiong Ng+2 more|arXiv (Cornell University)|Feb 8, 2023

Topic Modeling被引用 81

一句话总结

GPTScore 使用大型预训练语言模型，结合零样本指令和上下文示例，在多种可定制评估方面对生成文本进行评分，且无需带注释的数据。

ABSTRACT

Generative Artificial Intelligence (AI) has enabled the development of sophisticated models that are capable of producing high-caliber text, images, and other outputs through the utilization of large pre-trained models. Nevertheless, assessing the quality of the generation is an even more arduous task than the generation itself, and this issue has not been given adequate consideration recently. This paper proposes a novel evaluation framework, GPTScore, which utilizes the emergent abilities (e.g., zero-shot instruction) of generative pre-trained models to score generated texts. There are 19 pre-trained models explored in this paper, ranging in size from 80M (e.g., FLAN-T5-small) to 175B (e.g., GPT3). Experimental results on four text generation tasks, 22 evaluation aspects, and corresponding 37 datasets demonstrate that this approach can effectively allow us to achieve what one desires to evaluate for texts simply by natural language instructions. This nature helps us overcome several long-standing challenges in text evaluation--how to achieve customized, multi-faceted evaluation without the need for annotated samples. We make our code publicly available at https://github.com/jinlanfu/GPTScore.

研究动机与目标

• 解决缺乏灵活的、多方面的文本评估，减少注释与训练需求。
• 利用大型生成模型的 emergent 能力（零样本指令、上下文学习）对生成文本进行评分。
• 提供一个定义任务、方面和上下文以计算条件生成概率作为分数的协议。
• 在多样的 NLG 任务上比较多种骨干模型（GPT-2、OPT、FLAN-T5、GPT-3），评估可靠性与通用性。

提出的方法

• 提出 GPTScore，其以加权求和的形式计算 GPTScore(h|d,a,S) = ∑ log 概率的令牌在 h 条件下，给定提示 T(d,a,S) 和上下文 S (p(y|x,θ))。
• 通过任务描述 d 和方面定义 a 定义评估协议，允许可选的示例样本以通过上下文学习引导模型。
• 使用一个提示模板 T(·) 编码用于不同任务与方面的评估协议和定义。
• 以 GPT-3、OPT、FLAN-T5、GPT-2 为骨干实例化 GPTScore，探索解码器-仅与编码器-解码器架构。
• 探索两种评分变体：src->hypo（基于源）和 ref->hypo（基于金标准）以与人类在不同任务中的判断保持一致。

实验结果

研究问题

• RQ1 指令式提示和上下文示范是否能够实现跨越多样 NLP 任务的训练自由、多方面评估？
• RQ2 在不同骨干模型（GPT-3、GPT-2、OPT、FLAN-T5、GPT-J）之间，可靠性和与人类判断的相关性在数据集上有何差异？
• RQ3 在各种任务和方面中，以源文本与参考文本作为评分基础的影响有多大？
• RQ4 任务定义和方面定义在多域（摘要、对话、数据到文本、机器翻译）中对 GPTScore 的可靠性影响有多大？

主要发现

• 基于指令的提示在许多设定中显著提升了 GPTScore 的性能。
• 解码器仅模型通常比编码器-解码器模型更能从指令和示范中获益。
• GPT3-d03 一般优于 GPT3-d01，但 GPT3-c01 提供了在 MT 中具成本效益的竞争性替代方案。
• 在跨任务的相关性与人类判断相比，GPTScore 搭配指令有时可以优于某些监督或传统指标。
• 将指令与示范相结合（IDM）时，GPTScore 在多种模型族中显示出持续的提升。
• 在摘要、MT、数据到文本和对话任务中，GPTScore 的变体与人类判断显示出有意义的相关性（如实验所示）。