[论文解读] Generative Judge for Evaluating Alignment

Junlong Li, Shichao Sun+4 more|arXiv (Cornell University)|Oct 9, 2023

Topic Modeling被引用 5

一句话总结

该论文提出 Auto-J，一个在 58 种多样化现实场景的真实用户查询和 LLM 生成回复上训练的 13B 参数生成式评判模型。它通过自然语言评述，实现了对 LLM 输出的灵活、可解释的评估，支持单次响应和成对比较两种评估协议，在对齐评估中表现出高一致性与详细推理，优于强大的开源与闭源基线模型。

ABSTRACT

The rapid development of Large Language Models (LLMs) has substantially expanded the range of tasks they can address. In the field of Natural Language Processing (NLP), researchers have shifted their focus from conventional NLP tasks (e.g., sequence tagging and parsing) towards tasks that revolve around aligning with human needs (e.g., brainstorming and email writing). This shift in task distribution imposes new requirements on evaluating these aligned models regarding generality (i.e., assessing performance across diverse scenarios), flexibility (i.e., examining under different protocols), and interpretability (i.e., scrutinizing models with explanations). In this paper, we propose a generative judge with 13B parameters, Auto-J, designed to address these challenges. Our model is trained on user queries and LLM-generated responses under massive real-world scenarios and accommodates diverse evaluation protocols (e.g., pairwise response comparison and single-response evaluation) with well-structured natural language critiques. To demonstrate the efficacy of our approach, we construct a new testbed covering 58 different scenarios. Experimentally, Auto-J outperforms a series of strong competitors, including both open-source and closed-source models, by a large margin. We also provide detailed analysis and case studies to further reveal the potential of our method and make a variety of resources public at https://github.com/GAIR-NLP/auto-j.

研究动机与目标

• 解决现有 LLM 评估方法在人类对齐生成任务中通用性、灵活性和可解释性方面的局限性。
• 开发一种可扩展的开源评估器，支持多样化的评估协议，且不依赖专有 API。
• 构建高质量、场景特定的现实查询与响应数据集，用于训练稳健的生成式评判模型。
• 通过提供详细、自然语言的解释来提升评估分数的可靠性与人机协同可用性。
• 证明微调后的、权重公开的 LLM 可作为通用评估器，在多种对齐任务中有效应用。

提出的方法

• 在新构建的 58 种现实场景数据集上训练 Auto-J，该数据集源自真实用户查询与 LLM 生成的回复。
• 使用 GPT-4 为每对查询-回复生成监督式评估标签，并采用手工设计的、场景特定的评估标准。
• 应用启发式过滤与后处理技术，统一输出格式并减少标注噪声。
• 设计统一的提示框架，同时支持单次响应评估与成对比较评估协议。
• 采用 few-shot 提示与思维链提示，从 Auto-J 中激发详细、自然语言的评述。
• 在筛选后的数据集上对 13B 参数模型进行微调，以优化对齐评估性能。

实验结果

研究问题

• RQ1 微调后的开源 LLM 是否可作为多样化现实对齐任务中的可靠通用评估器？
• RQ2 与仅依赖数值指标相比，具备自然语言解释的生成式评判模型在评估可解释性方面有何提升？
• RQ3 单一模型在不降低性能的前提下，能在多大程度上支持多种评估协议（如成对比较与单次响应）？
• RQ4 在对齐评估准确率与一致性方面，Auto-J 与开源及闭源评估器相比表现如何？
• RQ5 场景特定的训练数据对生成式评判模型的泛化能力与鲁棒性有何影响？

主要发现

• 在 58 种现实场景中，Auto-J 在对齐评估方面优于多种强大的开源与闭源基线模型。
• 该模型与人类判断高度一致，尤其在需要细致推理的复杂、场景特定评估中表现突出。
• Auto-J 在单次响应评估与成对比较评估协议中均表现出色，展现出高度灵活性。
• 包含详细自然语言评述显著提升了评估结果的可解释性与可信度。
• 案例研究显示，Auto-J 能以高精度识别 LLM 回复中的细微缺陷，如逻辑不一致与事实错误。
• 在一项复杂法律查询任务中，Auto-J 的最佳 32 个响应选择得分达到 6.0，优于 GPT-4 的 9.0，凸显其在高风险场景中的鲁棒性。