[논문 리뷰] LLMs-as-Judges: A Comprehensive Survey on LLM-based Evaluation Methods

Haitao Li, Qian Dong외 6명|arXiv (Cornell University)|2024. 12. 07.

Legal Education and Practice Innovations인용 수 21

한 줄 요약

이 논문은 대형 언어 모델을 평가자(LLMs-as-judges)로 사용하는 패러다임을 기능성, 방법론, 응용, 메타-평가, 한계에 걸쳐 고찰하고 커뮤니티를 위한 오픈 소스 리소스를 제공한다.

ABSTRACT

The rapid advancement of Large Language Models (LLMs) has driven their expanding application across various fields. One of the most promising applications is their role as evaluators based on natural language responses, referred to as ''LLMs-as-judges''. This framework has attracted growing attention from both academia and industry due to their excellent effectiveness, ability to generalize across tasks, and interpretability in the form of natural language. This paper presents a comprehensive survey of the LLMs-as-judges paradigm from five key perspectives: Functionality, Methodology, Applications, Meta-evaluation, and Limitations. We begin by providing a systematic definition of LLMs-as-Judges and introduce their functionality (Why use LLM judges?). Then we address methodology to construct an evaluation system with LLMs (How to use LLM judges?). Additionally, we investigate the potential domains for their application (Where to use LLM judges?) and discuss methods for evaluating them in various contexts (How to evaluate LLM judges?). Finally, we provide a detailed analysis of the limitations of LLM judges and discuss potential future directions. Through a structured and comprehensive analysis, we aim aims to provide insights on the development and application of LLMs-as-judges in both research and practice. We will continue to maintain the relevant resource list at https://github.com/CSHaitao/Awesome-LLMs-as-Judges.

연구 동기 및 목표

• LLMs-as-judges 패러다임과 그 평가 프레임워크를 정의하고 형식화한다.
• 기능성, 방법론, 응용, 메타-평가, 한계의 다섯 가지 관점에서 현재 연구를 체계적으로 분석한다.
• 연구 및 실무를 안내하기 위한 도전과제, 기회, 향후 방향을 식별한다.
• 공동체 협력과 모범 사례를 촉진하기 위한 오픈 소스 저장소를 제공한다.

제안 방법

• 평가 구성을 단일 LLM, 다중 LLM, 하이브리드(human-AI) 구성으로 분류한다.
• LLM 평가자(inputs: Evaluation Type, Criteria, References)와 outputs: Evaluation Result, Explanation, Feedback를 설명한다.
• 평가 모드(pointwise, pairwise, listwise)와 기준 및 참조가 판단에 미치는 영향을 설명한다.
• 프롬프트 기반, 튜닝, 데이터 구성, 다중-LLM 집계 등 방법론적 접근을 조사한다.
• LLM 기반 평가 성능을 평가하기 위한 메타-평가 벤치마크와 지표를 논의한다.

실험 결과

연구 질문

• RQ1 LLMs-as-judges의 핵심 구성요소와 정의는 무엇인가?
• RQ2 단일, 다중-LLM, 인간-–AI 하이브리드 구성에서 LLM 기반 평가자는 어떻게 구성되고 설정되는가?
• RQ3 LLM 기반 평가 방법이 가장 큰 영향을 받는 도메인, 작업, 기준은 무엇인가?
• RQ4 LLM 판단자 자체를 어떻게 평가해야 하는가(메타-평가)와 그 한계는 무엇인가?
• RQ5 LLM 기반 평가의 효율성, 효과성, 신뢰성, 공정성을 개선할 수 있는 미래 방향은 무엇인가?

주요 결과

• LLMs-as-judges는 다양한 작업에 걸쳐 확장 가능하고 해석 가능한 피드백과 유연한 평가 기준을 제공한다.
• 평가 출력은 일반적으로 주요 결과와 함께 설명 및 실행 가능한 피드백을 포함하여 투명한 평가를 가능하게 한다.
• 신뢰도와 공정성에 영향을 주는 편향, 프롬프트 의존성, 트랜지티비티 문제 등이 존재한다.
• 프롬프트 기반에서 튜닝 기반, 다중-LLM 집계에 이르는 방법론을 맵핑하며 비용과 강건성의 트레이드오프를 강조한다.
• 오픈 소스 리소스(Awesome-LLMs-as-Judges)가 제공되어 지속적인 협업과 표준화를 지원한다.