[논문 리뷰] Systematic Evaluation of LLM-as-a-Judge in LLM Alignment Tasks: Explainable Metrics and Diverse Prompt Templates

Hui Wei, Shenghua He외 5명|arXiv (Cornell University)|2024. 08. 23.

Artificial Intelligence in Law인용 수 6

한 줄 요약

본 논문은 정렬(alignment) 작업에서 판단자로서의 LLM을 평가하기 위한 설명 가능한 지표를 개발하고, 다양한 프롬트 템플릿의 영향을 분석하며, TL;DR 요약 및 HH-RLHF-Helpfulness 데이터셋에서 검증된 프레임워크를 제시한다.

ABSTRACT

LLM-as-a-Judge has been widely applied to evaluate and compare different LLM alignmnet approaches (e.g., RLHF and DPO). However, concerns regarding its reliability have emerged, due to LLM judges' biases and inconsistent decision-making. Previous research has developed evaluation frameworks to assess reliability of LLM judges and their alignment with human preferences. However, the employed evaluation metrics often lack adequate explainability and fail to address LLM internal inconsistency. Additionally, existing studies inadequately explore the impact of various prompt templates when applying LLM-as-a-Judge methods, leading to potentially inconsistent comparisons between different alignment algorithms. In this work, we systematically evaluate LLM-as-a-Judge on alignment tasks by defining more theoretically interpretable evaluation metrics and explicitly mitigating LLM internal inconsistency from reliability metrics. We develop an open-source framework to evaluate, compare, and visualize the reliability and alignment of LLM judges, which facilitates practitioners to choose LLM judges for alignment tasks. In the experiments, we examine effects of diverse prompt templates on LLM-judge reliability and also demonstrate our developed framework by comparing various LLM judges on two common alignment datasets (i.e., TL;DR Summarization and HH-RLHF-Helpfulness). Our results indicate a significant impact of prompt templates on LLM judge performance, as well as a mediocre alignment level between the tested LLM judges and human evaluators.

연구 동기 및 목표

• 정확성, flipping noise, 위치 편향, 길이 편향을 형식화하여 LLM 판단자의 평가 지표 해석 가능성을 높인다.
• LLM 판단자의 신뢰성을 내부 불일치로부터 분리하여 평가 신뢰성을 높인다.
• 다양한 프롬프트 템플릿이 LLM 판단자 신뢰성과 인간 선호도와의 정렬에 미치는 영향을 평가한다.
• 모델과 템플릿에 걸쳐 LLM 판단자를 평가, 비교 및 시각화하기 위한 일반 프레임워크를 제공한다.
• 체계적 순위를 바탕으로 특정 정렬 작업에 적합한 LLM 판단자를 선택하기 위한 지침을 제공한다.

제안 방법

• 교환된 응답 순서를 가진 데이터를 고려하는 통합 프레임워크 내에서 정확도 지표 Acc_both와 Acc_random을 정의하고 계산한다.
• 전환 노이즈를 모델링하고 노이즈 제거를 통해 LLM 자기 불일치와 위치 편향, 길이 편향과 같은 편향을 분리한다.
• 응답 순서를 바꿨을 때의 정렬 차이를 위치 편향으로 정량화하고 노이즈 제거된 추정치를 계산한다.
• 더 길거나 짧은 응답을 선호하는 상대적 경향인 길이 편향을 정량화하되, 전환 노이즈에 대한 노이즈 제거를 함께 수행한다.
• 데이터 샘플링, LLM 판단자, 지표 계산, 시각화를 포함하는 체계적 비교를 위한 평가 프레임워크를 개발한다.

실험 결과

연구 질문

• RQ1 다른 프롬프트와 모델에 걸친 정렬 작업에서 LLM 판단자가 인간 평가자의 대리자로서 얼마나 신뢰할 수 있는가?
• RQ2 프롬프트 템플릿이 LLM 판단자의 정확도, 위치 편향, 길이 편향에 어떤 영향을 미치는가?
• RQ3 전환 노이즈를 실제 편향으로부터 분리하여 LLM 판단자에 대한 더 해석 가능한 신뢰도 지표를 얻을 수 있는가?
• RQ4 TL;DR 및 HH-RLHF-Helpfulness와 같은 일반 데이터셋에서 LLM 판단자와 인간 선호도의 상대적 정렬은 어떠한가?
• RQ5 주어진 데이터셋에서 Acc_both 기준으로 어떤 LLM 판단자(모델 + 템플릿)가 가장 우수하게 작동하며, 이들을 어떻게 순위를 매겨야 하는가?

주요 결과

• 프롬프트 템플릿은 데이터셋 전반에 걸쳐 LLM 판단자의 정확도에 상당한 영향을 미친다.
• LLM 판단자는 TL;DR 및 HH-RLHF-Helpfulness 데이터 모두에서 인간 평가자와의 정렬이 보통 수준이다.
• 시험된 판단자들 사이에서 정확도와 위치 편향 사이에 뚜렷한 음의 상관관계가 있다.
• 모든 시험 대상 LLM 판단자는 특히 다중 턴 대화에서 더 긴 응답을 선호하는 편향을 보인다.
• GPT-4o 및 GPT-4o-mini는 일반적으로 GPT-3.5-turbo보다 정확도에서 우수하며, 프롬프트 템플릿 효과는 다르게 나타난다.