[논문 리뷰] Judging the Judges: A Systematic Study of Position Bias in LLM-as-a-Judge

Lin Shi, Weicheng Ma외 4명|arXiv (Cornell University)|2024. 06. 12.

Legal Education and Practice Innovations인용 수 4

한 줄 요약

이 논문은 LLM-as-a-Judge 시스템에서 모델이 쌍대 비교 시 응답의 순서에 따라 선호도를 보이는 위치 편향을 체계적으로 조사한다. 총 9개의 판사 모델과 22개의 작업에서 위치 일관성 및 공정성과 같은 지표를 사용한 프레임워크를 통해 분석한 결과, 편향의 정도가 상당히 다양함을 확인했다. GPT-4는 높은 일관성과 공정성을 보였지만, GPT-3.5와 같은 저비용 모델도 일부 작업에서는 유사한 성능을 보이며 비용, 일관성, 공정성 간의 상충 관계를 드러냈다.

ABSTRACT

LLM-as-a-Judge has emerged as a promising alternative to human evaluators across various tasks, yet inherent biases - particularly position bias, the tendency to favor solutions based on their position within the prompt - compromise its reliability. This exploratory study evaluates position bias in LLM judges across pairwise and list-wise comparison settings, introducing three metrics: repetition stability, position consistency, and preference fairness. Our experiments, involving 15 LLM judges across MTBench and DevBench with 22 tasks and approximately 40 solution-generating models, result in over 150,000 evaluation instances. We identify Judge-Level, Candidate-Level, and Task-Level factors contributing to bias. The findings confirm that position bias is not due to random chance and varies significantly across judges and tasks. While position bias is weakly influenced by the length of prompt components, it is strongly affected by the quality gap between solutions. Our agreement and disagreement analysis among judges further provides insights into the distribution of judging difficulty across the dataset, and highlights the potential for dataset modifications.

연구 동기 및 목표

• LLM-as-a-Judge 시스템에서 모델 판단이 프롬프트 내 응답의 위치에 따라 체계적으로 선호되는 위치 편향을 조사하고 정량화하는 것.
• 반복 일관성, 위치 일관성, 위치 공정성과 같은 지표를 포함한 표준화된 평가 프레임워크를 개발하여 다양한 판사 모델 간의 편향을 평가하고 비교하는 것.
• 모델 계열, 작업 유형, 응답 품질 격차가 위치 편향에 미치는 영향을 분석하고, 길이 또는 어조의 장황성에 기인한 선호도가 아닌지 평가하는 것.
• 최적의 판사 모델 선택 및 벤치마크 설계 향상을 위한 실질적 통찰을 제공하여 자동화된 LLM 평가의 신뢰도를 향상시키는 것.
• 미래의 LLM 기반 평가 시스템에서 편향 제거 전략 연구를 위한 기본 용어와 지표 체계를 수립하는 것.

제안 방법

• 쌍대 비교 평가를 통해 위치 편향을 측정하기 위한 체계적 평가 프레임워크를 설계하였으며, 두 응답이 원래 순서와 뒤바뀐 순서에서 모두 평가되었다.
• 핵심 지표 정의: 반복 일관성(반복 평가 시 판단의 안정성), 위치 일관성(첫 번째 또는 두 번째 응답에 대한 선호도), 위치 공정성(위치 간 균형 잡힌 선호도).
• 위치 선호도 점수, 우선성/최종성 선호도, 응답 품질 격차 등의 용어를 정의하여 다양한 모델과 작업 간 편향 분석의 표준화를 도모했다.
• MTBench와 DevBench의 22개 작업에서 GPT-3.5, GPT-4, GPT-4-Turbo, Claude-3, Gemini-Pro 등 총 9개의 LLM 판사 모델을 대상으로 실험을 수행하여 약 80,000개의 평가 인스턴스를 생성했다.
• 위치 일관성과 선호도에 영향을 주는 작업 수준의 요소(입력 길이, 출력 길이, 프롬프트 길이)를 분석하기 위해 OLS 회귀 분석을 적용했다.
• 길이 통계와 편향 간의 관계를 시각화하고 분석한 결과, 길이 영향은 미미하며 관찰된 장황성 편향은 주로 위치 편향과 품질 격차에 기인한 것으로 결론 내렸다.

실험 결과

연구 질문

• RQ1 LLM 판사 모델이 쌍대 비교 평가에서 얼마나 높은 정도의 위치 편향을 보이며, 이는 다양한 모델 계열과 작업 유형 간에 어떻게 달라지는가?
• RQ2 위치 일관성, 공정성, 반복 일관성과 같은 지표들이 모델 성능 및 컨텍스트 창 크기, 아키텍처와 같은 내재적 특성과 어떻게 상관관계가 있는가?
• RQ3 응답 길이 또는 장황성이 독립적으로 선호도를 이끌어내는가, 아니면 관찰된 편향이 위치 순서와 응답 품질 격차에 의해 더 잘 설명되는가?
• RQ4 응답 품질 격차가 특히 유사한 응답이 존재할 경우, LLM 판단의 일관성과 공정성에 어떤 영향을 미치는가?
• RQ5 비용 효율적인 LLM 모델들이 특정 평가 작업에서 GPT-4와 같은 고비용 모델에 비해 유사하거나 더 높은 공정성과 일관성을 달성할 수 있는가?

주요 결과

• 위치 편향은 체계적이고 재현 가능하다: 80%의 판단에서 반복 평가 시 일관된 선호도가 관찰되어 무작위성 때문이 아니라 모델 고유의 구조적 특성에 기인한 것임을 시사한다.
• GPT-4는 가장 높은 위치 일관성(0.92)과 공정성(0.51)을 보였지만, 일부 작업에서는 GPT-3.5와 같은 저비용 모델도 유사하거나 더 높은 공정성을 보였다.
• 모델 계열의 특성이 편향에 크게 영향을 미친다: GPT-계열 모델은 강한 일관성과 공정성을 보였고, Claude-3 모델은 뚜렷한 최종성 선호도(두 번째 응답에 대한 선호도가 더 높음)를 보였다.
• 위치 일관성은 응답 품질 격차와 직접 비례한다—응답의 품질이 유사할수록 판단의 일관성이 낮아지며, 이는 미세한 평가에서의 과제를 드러낸다.
• 길이 기반 편향(예: 더 긴 응답 선호)은 독립적으로 유의미하지 않았으며, 오히려 위치 편향에 흡수되어 있었고, 이는 길이 선호가 품질 편향의 대체 지표로 기능할 수 있음을 시사한다.
• OLS 회귀 분석 결과, 작업 특성 요소(예: UML 클래스 설계)는 위치 선호도에 통계적으로 유의미한 영향을 미쳤다(p < 0.05), 반면 GPT-4-Turbo와 같은 모델 계열 효과는 부정적 편향을 보였다(β = -0.0036, p = 0.015), 즉 약간의 두 번째 응답 선호도를 보였다.