[논문 리뷰] Humans or LLMs as the Judge? A Study on Judgement Biases

Guiming Hardy Chen, Shunian Chen외 3명|arXiv (Cornell University)|2024. 02. 16.

Law, Economics, and Judicial Systems인용 수 9

한 줄 요약

이 논문은 개방형 응답을 평가하는 사람과 LLM 모두의 다섯 가지 판단 편향을 연구하기 위한 프레임워크를 제시하고, 섭동을 통한 광범위한 실험을 수행하며, 두 그룹 모두 이용될 수 있는 편향을 보이고 오픈 소스 데이터셋으로 뒷받침한다.

ABSTRACT

Adopting human and large language models (LLM) as judges (a.k.a human- and LLM-as-a-judge) for evaluating the performance of LLMs has recently gained attention. Nonetheless, this approach concurrently introduces potential biases from human and LLMs, questioning the reliability of the evaluation results. In this paper, we propose a novel framework that is free from referencing groundtruth annotations for investigating Misinformation Oversight Bias, Gender Bias, Authority Bias and Beauty Bias on LLM and human judges. We curate a dataset referring to the revised Bloom's Taxonomy and conduct thousands of evaluations. Results show that human and LLM judges are vulnerable to perturbations to various degrees, and that even the cutting-edge judges possess considerable biases. We further exploit these biases to conduct attacks on LLM judges. We hope that our work can notify the community of the bias and vulnerability of human- and LLM-as-a-judge, as well as the urgency of developing robust evaluation systems.

연구 동기 및 목표

• 개방형 과제에 대한 인간과 LLM 심판의 편향을 검토하여 LLM의 견고한 평가를 촉진한다.
• 다섯 가지 심판 편향(Fallacy Oversight, Authority, Beauty, Verbosity, Positional)을 정의하고 분류하며 그 영향력을 검증한다.
• Ground-truth 참조에 의존하지 않는 중재/사후 분석 프레임워크를 개발한다.
• 편향 분석을 용이하게 하기 위해 개방형 평가를 위한 오픈 데이터세트를 생성하고 공개한다.

제안 방법

• Ground-truth 표준을 필요로 하지 않는 다섯 가지 편향을 평가하기 위한 중재 및 사후 분석 프레임워크를 설계한다.
• Bloom의 개정 분류학(Bloom’s revised taxonomy) 전반에 걸친 질문과 답변 쌍을 생성하고 의미적 품질에 대한 인간 판단을 수집하기 위해 GPT-4를 사용한다.
• 사실 오류, 가짜 참고문헌, 풍부한 내용으로 답변을 섭동하여 취약성을 측정한다(공격 성공률, ASR).
• 대조군 및 실험군에서 통제된 조건 아래 인간 심판자와 대표적인 LLM들(GPT-4, GPT-4-Turbo, Claude-2, PaLM-2, Ernie, LLaMA2 등)을 평가한다.
• ASR과 정확도를 계산하여 섭동에 대한 강건성 및 편향을 식별한다.
• 후향 분석 및 섞인 순서의 답변 위치를 사용한 다중 평가 라운드를 통해 위치 및 서술성 편향을 분석한다.

Figure 1: Sample demonstration. Each sample consists of one question, two unperturbed answers $A_{1}$ , $A_{2}$ in the Control Group. The perturbed versions of $A_{2}$ are generated for the Experimental Group. Texts with factual errors are colored in red solely for demonstration purposes. Rich conte

실험 결과

연구 질문

• RQ1 골든 그라운드 트루스 없이 개방형 생성물을 심판할 때 인간과 LLM은 얼마나 편향되어 있는가?
• RQ2 사람과 LLM 심판에서 Fallacy Oversight, Authority, Beauty, Verbosity, Positional 편향의 표현과 크기는 무엇인가?
• RQ3 이 편향을 악용하도록 설계된 섭동에 대해 다양한 심판자는 얼마나 취약한가?
• RQ4 LLM 심판의 편향을 이용하여 더 약하거나 섭동된 답변에 대해 피상적으로 유리한 평가를 얻을 수 있는가?
• RQ5 다양한 편향 연구와 강건한 평가 연구를 지원하기 위한 오픈 데이터 세트의 도움으로 어떤 차단 조치(예: 여러 무작위 위치 평가)가 이러한 편향을 완화하는가?

주요 결과

• 개방형 평가에서 인간과 LLM 심판 모두 편향을 보인다.
• 인간 심판은 상당한 Fallacy Oversight, Beauty, Verbosity 편향을 보이며; LLM은 모델마다 상이한 편향을 보인다.
• 다양한 LLM은 특정 섭동에 대해 더 강건한 편향 프로필을 가지며, 어떤 모델은 다른 모델보다 특정 섭동에 더 강건하다.
• 편향 섭동은 섭동되었거나 더 약한 답변에 대해 피상적으로 판단을 개선하는 데 사용될 수 있어 LLM 평가자에 대한 편향된 공격을 가능하게 한다.
• 연구는 편향 분석 및 강건한 평가 시스템 개발을 지원하기 위한 오픈 소스 개방형 평가 데이터세트를 제공한다.

Figure 3: Verbosity Bias of different judges. The X-Axis indicates the absolute length difference between the long answer and the short answer. Lengths are computed using tiktoken library from OpenAI. The Y-Axis indicates the preference towards the long answer. 0 refers to a total favor for the shor