[论文解读] Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge

Jiayi Ye, Yanbo Wang+10 more|arXiv (Cornell University)|Oct 3, 2024

Law, Economics, and Judicial Systems被引用 5

一句话总结

本论文在大语言模型中作为评审定义了 12 种偏见，提出 Calm，一种用于量化和分析这些偏见的自动化框架，并评估六个 LLM 以揭示持续偏见和可靠性限制。

ABSTRACT

LLM-as-a-Judge has been widely utilized as an evaluation method in various benchmarks and served as supervised rewards in model training. However, despite their excellence in many domains, potential issues are under-explored, undermining their reliability and the scope of their utility. Therefore, we identify 12 key potential biases and propose a new automated bias quantification framework-CALM-which systematically quantifies and analyzes each type of bias in LLM-as-a-Judge by using automated and principle-guided modification. Our experiments cover multiple popular language models, and the results indicate that while advanced models have achieved commendable overall performance, significant biases persist in certain specific tasks. Empirical results suggest that there remains room for improvement in the reliability of LLM-as-a-Judge. Moreover, we also discuss the explicit and implicit influence of these biases and give some suggestions for the reliable application of LLM-as-a-Judge. Our work highlights the need for stakeholders to address these issues and remind users to exercise caution in LLM-as-a-Judge applications.

研究动机与目标

• 界定并对可能影响作为评审的 LLM 的 12 种偏见进行分类。
• 提出 Calm，一种自动化、基于扰动的框架，用于量化评审偏见。
• 评估多种 LLM 以评估在偏见下判断的鲁棒性和可靠性。
• 为在基准测试和奖励机制中可靠部署 LLM 作为评审提供指南。

提出的方法

• 引入 Calm（Comprehensive Assessment of Language Model Judge Biases）的四个组成部分：偏见分类体系、多样化评估数据集、偏见特定指标，以及自动化扰动。
• 采用攻击与检测方法，其中通过原则引导的扰动 g(·) 注入到 R 或 I，并对一致性进行评判。
• 在事实相关、注重 refinement、以及对齐数据集上，应用评分和成对比较的评判任务。
• 定义度量如 Robustness Rate (RR)、Consistency Rate (CR) 以及准确性指标，用以量化偏见影响。
• 在多种偏见情景下评估六种 LLM（ChatGPT、GPT-4-Turbo、GPT-4o、Claude-3.5、GLM-4、Qwen2）。

实验结果

研究问题

• RQ1 有哪些可能影响作为评审的 LLM 的 12 种不同偏见？
• RQ2 自动化扰动如何量化基于 LLM 的判断的鲁棒性和可靠性？
• RQ3 现代 LLM 是否在不同评审任务和数据集上表现出持续的偏见？
• RQ4 哪些指南和缓解策略可以在实践中提高 LLM 作为评审的可靠性？

主要发现

• 偏见显著影响评审鲁棒性；即便是强模型也存在脆弱性，且依赖于任务和数据集。
• 对齐数据比事实相关数据显示出更强的偏见效应，表明数据集质量影响评审的可靠性。
• Claude-3.5 通常对偏见的韧性较高，但没有一种模型在所有偏见类型上都具有普遍鲁棒性。
• 位置、冗长和自我强化偏见突出，其中自我强化在生成与评估源之间表现出明显分歧。
• CoT（思维链）在某些模型中可提高评估准确性，但并非普遍。