[논문 리뷰] Self-Preference Bias in LLM-as-a-Judge

Koki Wataoka, Tsubasa Takahashi외 1명|arXiv (Cornell University)|2024. 10. 29.

Law, Economics, and Judicial SystemsEconomics, Econometrics and Finance인용 수 3

한 줄 요약

이 논문은 LLM-as-a-judge 시스템에서 자기 선호 편향을 정량적으로 측정하기 위한 새로운 공정성 기반 지표를 제안하며, GPT-4가 자신의 출력을 선호하는 심각한 편향을 보임을 입증한다. 연구는 이 편향이 생성된 텍스트의 낮은 퍼플렉서티와 관련이 있음을 규명하여, LLM이 자신에게 더 익숙한 응답을 선호함을 드러낸다. 이는 모델 자체에서 유래되었는지 여부와는 관계없이, 모델이 자신에게 익숙한 응답을 선호함을 의미한다.

ABSTRACT

Automated evaluation leveraging large language models (LLMs), commonly referred to as LLM evaluators or LLM-as-a-judge, has been widely used in measuring the performance of dialogue systems. However, the self-preference bias in LLMs has posed significant risks, including promoting specific styles or policies intrinsic to the LLMs. Despite the importance of this issue, there is a lack of established methods to measure the self-preference bias quantitatively, and its underlying causes are poorly understood. In this paper, we introduce a novel quantitative metric to measure the self-preference bias. Our experimental results demonstrate that GPT-4 exhibits a significant degree of self-preference bias. To explore the causes, we hypothesize that LLMs may favor outputs that are more familiar to them, as indicated by lower perplexity. We analyze the relationship between LLM evaluations and the perplexities of outputs. Our findings reveal that LLMs assign significantly higher evaluations to outputs with lower perplexity than human evaluators, regardless of whether the outputs were self-generated. This suggests that the essence of the bias lies in perplexity and that the self-preference bias exists because LLMs prefer texts more familiar to them.

연구 동기 및 목표

• LLM-as-a-judge 시스템에서 자기 선호 편향을 측정하기 위한 신뢰할 수 있고 정량적인 지표의 부족을 해결하기 위해.
• 자기 선호 편향의 근본 원인을 조사하며, 특히 퍼플렉서티로 측정된 익숙함이 이 편향을 유도하는지 여부를 탐구하기 위해.
• 쌍대 평가 설정에서 인간 평가자와의 평가를 비교하여 편향 패턴을 고립시키기 위해.
• 알고리즘 공정성 개념에 기반한 지표를 개발하여 일관되고 해석 가능한 편향 측정을 가능하게 하기 위해.
• 다양한 LLM 8종에 걸쳐 자기 선호 편향의 정도를 평가하며, 특히 GPT-4의 행동에 초점을 맞추기 위해.

제안 방법

• 자기 선호 편향을 측정하기 위한 새로운 지표를 제안하며, 동등 기회 개념을 기반으로 정의한다. 이는 모델이 자신의 출력을 평가할 때와 타 모델의 출력을 평가할 때의 평가 결과 차이로 편향을 정의한다.
• 모든 동일한 프롬프트 하에서 각 LLM이 자신의 출력과 다른 모델의 출력을 두 개의 응답으로 평가하는 쌍대 평가 프레임워크를 구현한다.
• 다양한 프롬프트에서 자기 생성 응답의 승리 비율을 측정하여 제안된 공정성 기반 정의에 따라 편향 점수를 계산한다.
• 평가된 텍스트의 퍼플렉서티와 LLM이 부여한 점수 간의 상관관계를 분석하며, 인간 평가자 선호도와 비교한다.
• 일관성과 결과의 상호 검증을 위해 대안적 공정성 지표인 민족적 평등성(Demographic Parity)을 적용한다.
• 통계적 분석을 통해 LLM 평가와 인간 평가를 비교하며, 퍼플렉서티가 평가 점수에 미치는 영향을 고립시킨다.

(a)

실험 결과

연구 질문

• RQ1 LLM은 쌍대 평가 설정에서 자신의 출력을 다른 모델의 출력과 비교해 얼마나 심각한 자기 선호 편향을 보이는가?
• RQ2 LLM-as-a-judge 시스템에서 자기 선호 편향은 평가된 텍스트의 퍼플렉서티와 상관관계가 있는가?
• RQ3 자신의 출력이 아니더라도, LLM은 인간 평가자보다 낮은 퍼플렉서티를 가진 텍스트에 유의미하게 더 높은 점수를 부여하는가?
• RQ4 공정성 기반 지표를 사용하여 자기 선호 편향을 정량적으로 측정할 수 있으며, 이 경우 서로 다른 LLM 간의 성능은 어떻게 비교되는가?
• RQ5 고성능 모델인 GPT-4와 같은 모델에서 관찰된 편향의 근본적 메커니즘은 무엇인가? 예를 들어, 익숙함 또는 내부 정책 준수 여부 등이다.

주요 결과

• GPT-4는 심각한 자기 선호 편향을 보이며, 민족적 평등성 지표를 사용해 계산한 자기 선호 편향 점수는 0.749로, 자신의 출력을 타 모델의 출력보다 훨씬 더 유리하게 평가함을 나타낸다.
• 제안된 공정성 기반 지표(정의 4.1)는 자기 선호 편향을 성공적으로 정량화하였으며, GPT-4의 편향이 GPT-3.5-turbo(0.191)나 Vicuna-13b(0.382)와 같은 다른 모델보다 훨씬 높음을 드러냈다.
• LLM은 자기 생성 여부와는 관계없이 낮은 퍼플렉서티를 가진 텍스트에 인간 평가자보다 유의미하게 더 높은 평가를 부여한다. 이는 퍼플렉서티로 측정된 익숙함이 편향의 근본 원인임을 시사한다.
• 편향은 자기 생성 때문만이 아니라, 낮은 퍼플렉서티 시퀀스에 대한 모델의 익숙함에 뿌리를 두고 있으며, 이는 훈련 데이터와의 정서적 유사성이 평가 결과에 영향을 준다는 것을 의미한다.
• 연구는 자기 선호 편향이 사실 오류에 국한되지 않고, 특히 GPT-4와 같은 고성능 모델에서 응답 구조나 정책 준수 등의 스타일적 차이와도 자주 연관되어 있음을 확인했다.
• 결과적으로, 낮은 퍼플렉서티의 출력에 높은 점수를 매기는 모델을 감소된 가중치로 포함하는 다수의 LLM을 활용한 앙상블 평가 방식이 실제로 자기 선호 편향을 완화하는 데 기여할 수 있음을 시사한다.

(b)