[论文解读] INSTRUCTSCORE: Explainable Text Generation Evaluation with Finegrained Feedback

Wenda Xu, Danqing Wang+5 more|arXiv (Cornell University)|May 23, 2023

Natural Language Processing Techniques被引用 4

一句话总结

InstructScore 是一种细粒度、可解释的文本生成评估指标，利用 GPT-4 的隐式知识生成自然语言诊断报告，可识别错误类型、位置、严重程度及理由，无需依赖人工标注评分。其基于 7B LLaMA 的模型在所有无监督指标中表现最优，且与有监督最先进模型（如 COMET22）相当，在迭代优化后，与人类判断的一致性提升 13.7%。

ABSTRACT

Automatically evaluating the quality of language generation is critical. Although recent learned metrics show high correlation with human judgement, these metrics can not explain their verdict or associate the scores with defects in generated text. To address this limitation, we present InstructScore, an explainable evaluation metric for text generation. By harnessing both explicit human instruction and the implicit knowledge of GPT-4, we fine-tune a text evaluation metric based on LLaMA, producing both a score for generated text and a human readable diagnostic report. We evaluate InstructScore on a variety of generation tasks, including translation, captioning, data-to-text and commonsense generation. Experiments show that our 7B model surpasses all other unsupervised metrics, including those based on 175B GPT-3 and GPT-4. Surprisingly, our InstructScore, even without direct supervision from human-rated data, achieves performance levels on par with state-of-the-art metrics like COMET22, which were fine-tuned on human ratings.

研究动机与目标

• 开发一种可解释的文本生成评估指标，提供详细、人类可读的诊断报告，用于生成的文本。
• 通过识别错误类型、位置、严重程度及理由，实现细粒度错误检测，且不依赖人工标注分数。
• 通过使用 GPT-4 作为元评估器的自监督反馈循环，提升模型与人类判断的一致性。
• 构建一种可泛化的无监督训练流程，适用于多种文本生成任务。
• 在保持可解释性的同时，超越现有无监督指标与人类判断的相关性。

提出的方法

• 通过提示 GPT-4 生成结构化诊断报告来构建合成数据集，使用明确的指令模板。
• 设计反馈管道，查询 GPT-4 以评估错误解释的正确性、一致性和与人类判断的对齐程度。
• 在自生成的诊断输出上微调基于 7B LLaMA 的模型，通过优化反馈得分来提升解释质量。
• 通过采样真实机器生成输出中的失败模式，并利用 GPT-4 反馈重新评估解释，实现模型的迭代优化。
• 采用多轮提示框架验证错误标注，包括错误位置提取、短语对齐和严重程度分类。
• 使用 GPT-4 进行自动化评估，对诊断报告打分，正确或无错误声明得 1 分，错误或不一致声明得 0 分。

Figure 1: InstructScore generates a comprehensive error diagnostic report for text generation tasks, including error type, location, severity label, and explanation. Based on this report, InstructScore counts the number of major errors (each worth $-5$ ) and minor errors (each worth $-1$ ), ultimate

实验结果

研究问题

• RQ1 无监督文本评估指标能否生成详细、人类可读的诊断报告，以解释数值评分？
• RQ2 7B LLaMA 基础模型在文本生成评估中与 175B 闭源模型相比表现如何？
• RQ3 在无须人工标注数据的情况下，GPT-4 的自监督反馈能在多大程度上提升与人类判断的一致性？
• RQ4 该指标能否在翻译、图像字幕生成和常识推理等多样化文本生成任务中实现泛化？
• RQ5 诊断报告中会出现哪些失败模式，以及如何系统性地检测和纠正？

主要发现

• 7B InstructScore 模型在多种文本生成任务中超越所有现有无监督指标，包括基于 GPT-3（175B）和 GPT-4 的模型。
• InstructScore 在机器翻译任务中的表现与有监督最先进指标 COMET22 相当，尽管其训练过程中未使用人工评分数据。
• InstructScore 在 9 个翻译方向中的 6 个方向上优于有监督 BLEURT，展现出强大的零样本泛化能力。
• 通过使用 GPT-4 反馈进行迭代优化后，InstructScore 与人类判断的一致性提升了 13.7%。
• 该方法成功识别并纠正了诊断报告中的常见失败模式，如错误的错误位置和错误的严重程度分类。
• InstructScore 生成的诊断报告与人工标注高度一致，GPT-4 确认 98% 的无错误声明为正确。

Figure 2: Our InstructScore pipeline consists of three components: First, we construct synthetic data from GPT-4 and use it to fine-tune a 7B LLAMA model. Second, we sample from real-world machine-generated distribution to trigger InstructScore ’s failure modes. We query GPT-4 on each failure mode a