[논문 리뷰] Can You Trust LLM Judgments? Reliability of LLM-as-a-Judge

Kayla Schroeder, Zach Wood-Doughty|arXiv (Cornell University)|2024. 12. 17.

Legal Systems and Judicial Processes인용 수 4

한 줄 요약

이 논문은 LLM-as-a-judge 시스템의 내부 일관성 신뢰도를 평가하기 위해 맥도날드의 오메가를 사용하는 엄밀한 통계적 프레임워크를 소개한다. 고정된 온도 설정이더라도 단일 샷 LLM 판단은 상당한 변동성을 보이며, AI 안전성 및 콘텐츠 모니터링과 같은 고위험 응용 분야에서 신뢰할 수 있는 평가를 위해서는 신뢰도 지표가 필수적임을 입증한다.

ABSTRACT

Large Language Models (LLMs) have become increasingly powerful and ubiquitous, but their stochastic nature poses challenges to the reliability of their outputs. While deterministic settings can improve consistency, they do not guarantee reliability, as a single sample from the model's probability distribution can still be misleading. Building upon the concept of LLM-as-a-judge, we introduce a novel framework for rigorously evaluating the reliability of LLM judgments, leveraging McDonald's omega. We evaluate the reliability of LLMs when judging the outputs of other LLMs on standard single-turn and multi-turn benchmarks, simultaneously investigating the impact of temperature on reliability. By analyzing these results, we demonstrate the limitations of fixed randomness and the importance of considering multiple samples, which we show has significant implications for downstream applications. Our findings highlight the need for a nuanced understanding of LLM reliability and the potential risks associated with over-reliance on single-shot evaluations. This work provides a crucial step towards building more trustworthy and reliable LLM-based systems and applications.

연구 동기 및 목표

• 콘텐츠 모니터링과 같은 고위험 응용 분야에서 LLM-as-a-judge 시스템의 신뢰도 평가에 있어 핵심적인 격차를 해소하기 위해.
• 고정된 온도 설정(정적 온도)이 LLM 판단의 신뢰성을 보장한다는 가정을 도전하기 위해.
• 내부 일관성 신뢰도를 정량화하기 위해 통계적으로 탄탄한 메트릭으로 맥도날드의 오메가를 도입하기 위해.
• 복잡한 다단계 작업에서와 같이 높은 신뢰도 값이 존재하더라도 반복 평가 간 변동성이 여전히 존재함을 입증하기 위해.
• LLM-as-a-judge 결과와 함께 신뢰도 지표를 보고하여 AI 평가의 투명성과 신뢰도를 향상시키기 위해.

제안 방법

• 동일한 입력에 대해 다수의 LLM 판단에서의 내부 일관성 신뢰도를 정량화하기 위해 맥도날드의 오메가를 주요 신뢰도 메트릭으로 채택한다.
• 표준 단일턴 및 다단계 벤치마크, 즉 BBH, SQuAD, MT-Bench, Head-to-Tail에 이 프레임워크를 적용한다.
• 스토케스티시티에 대한 민감도를 평가하기 위해 다양한 온도 설정에서 LLM 판단을 평가한다. 특히 정적 설정에서도 변동성이 존재함을 확인한다.
• 다중 판단을 입력당 수집하여 신뢰도 점수를 계산함으로써 반복 평가를 시뮬레이션하고 변동성을 캡처한다.
• 통계적 추론을 사용하여 LLM 판단의 불확실성을 보고하며,传통적 연구에서의 신뢰구간과 유사하게 접근한다.
• 다양한 벤치마크와 작업 유형 간의 신뢰도 점수를 비교하여 판단의 불안정성 패턴을 식별한다.

실험 결과

연구 질문

• RQ1 고정된 온도 설정이더라도, 반복 시행 동안 LLM-as-a-judge 출력이 얼마나 신뢰할 수 있는가?
• RQ2 온도 설정이 다양한 벤치마크 유형에서 LLM-as-a-judge 출력의 신뢰도에 어떤 영향을 미치는가?
• RQ3 맥도날드의 오메가가 주관적이고 복잡한 평가 작업에서 LLM 판단의 내부 일관성 신뢰도를 효과적으로 정량화할 수 있는가?
• RQ4 신뢰도 점수는 후행 LLM 평가 결과에서 관측된 변동성과 어떻게 상관관계가 있는가?
• RQ5 낮은 신뢰도가 AI 안전성 및 콘텐츠 모니터링과 같은 실제 응용 분야에 어떤 영향을 미치는가?

주요 결과

• 고정된 온도 설정이더라도, LLM-as-a-judge 출력은 반복 시행 간에 상당한 변동성을 보이며, 정적 설정이 항상 신뢰성을 보장하지는 않음을 시사한다.
• 맥도날드의 오메가를 통해 계산된 신뢰도 점수는 다양한 벤치마크 간에 상당한 차이를 보이며, 다단계 및 복잡한 작업에서 특히 낮은 신뢰도를 나타낸다.
• 그림 3에서 보듯이, 높은 신뢰도를 가진 모델조차도 반복 시행 동안 일관성 없는 판단을 내놓는다. 이는 높은 신뢰도 값이 변동성을 완전히 제거하지는 않음을 시사한다.
• 본 연구는 단일 샷 평가만으로는 주관적 또는 고위험 영역에서 LLM 판단에 대한 신뢰를 확보하기에 부족함을 발견한다.
• LLM-as-a-judge 결과와 함께 신뢰도 지표를 보고하여 모델 출력에 내재된 불확실성에 대해 사용자에게 정보를 제공해야 한다.
• 이 프레임워크는 신뢰도가 LLM 평가의 중요한 측정 가능한 차원이며, 연구 및 구현 과정에 통합되어야 한다는 점을 입증한다.