[논문 리뷰] From Generation to Judgment: Opportunities and Challenges of LLM-as-a-judge

Dawei Li, Bocheng Jiang외 11명|arXiv (Cornell University)|2024. 11. 25.

Legal Education and Practice Innovations인용 수 10

한 줄 요약

이 논문은 LLM-as-a-judge 패러다임을 조사하고, 입력/출력 형식을 정의하며, 판단할 대상/방법/장소의 세 차원 분류법(무엇을/어떻게/어디에서 판단할지)을 제시하고, 평가 벤치마크를 정리하며, 주요 도전과 미래 방향을 개괄한다.

ABSTRACT

Assessment and evaluation have long been critical challenges in artificial intelligence (AI) and natural language processing (NLP). Traditional methods, usually matching-based or small model-based, often fall short in open-ended and dynamic scenarios. Recent advancements in Large Language Models (LLMs) inspire the "LLM-as-a-judge" paradigm, where LLMs are leveraged to perform scoring, ranking, or selection for various machine learning evaluation scenarios. This paper presents a comprehensive survey of LLM-based judgment and assessment, offering an in-depth overview to review this evolving field. We first provide the definition from both input and output perspectives. Then we introduce a systematic taxonomy to explore LLM-as-a-judge along three dimensions: what to judge, how to judge, and how to benchmark. Finally, we also highlight key challenges and promising future directions for this emerging area. More resources on LLM-as-a-judge are on the website: https://llm-as-a-judge.github.io and https://github.com/llm-as-a-judge/Awesome-LLM-as-a-judge.

연구 동기 및 목표

• 입력 및 출력 관점에서 LLM-as-a-judge 정의를 형식화한다.
• 판단 속성, 방법론, 응용 분야를 위한 포괄적 분류체계를 제안한다.
• LLM 기반 판단 평가를 위한 벤치마크를 수집하고 요약한다.
• 도전을 식별하고 향후 연구의 유망한 방향을 제시한다.

제안 방법

• 입력 형식(점-별, 쌍/리스트-별)과 출력 형식(점수, 순위, 선택)을 정의한다.
• 판단할 것(속성), 판단하는 방법(튜닝 및 프롬팅), 판단하는 곳(응용)에 대한 3차원 분류법을 개발한다.
• 유용성, 무해성, 신뢰성, 관련성, 실행 가능성, 전반적 품질 등의 속성을 조사한다.
• 튜닝 기법(데이터 소스, 지도 미세조정, 선호 학습)과 프롬프트 전략(교환, 규칙 증강, 다중 에이전트 협력)을 요약한다.
• 작업 전반에 걸친 LLM 기반 판단 평가를 위한 기존 벤치마크를 나열하고 분류한다.

Figure 1: Overview of various input and output formats of LLM-as-a-judge.

실험 결과

연구 질문

• RQ1 LLM이 효과적으로 판단할 수 있는 속성은 무엇이며, 이 속성은 어떻게 정의되고 측정되는가?
• RQ2 어떤 튜닝 및 프롟핑 방법론이 다양한 작업에서 강건한 LLM 기반 판단을 가능하게 하는가?
• RQ3 LLM-as-a-judge 접근법이 현재 어떤 응용 분야에서 사용되고 있으며, 어떻게 벤치마크되는가?
• RQ4 LLM-as-a-judge 연구의 주요 과제와 열린 방향은 무엇인가?

주요 결과

• 이 논문은 LLM으로 무엇을, 어떻게, 어디서 판단할지에 대한 상세한 분류체계를 제시한다.
• 유용성, 무해성, 신뢰성, 관련성, 실행 가능성, 전반적 품질 등 광범위한 속성을 수록한다.
• 튜닝 방법(SFT, 선호 학습, 합성 데이터)과 프롬프트의 요령(교환, 규칙 증강, 다중 에이전트 구성을) 을 검토한다.
• 벤치마크를 수집하고 LLM-as-a-judge 사용을 평가, 정렬, 검색, 추론 응용에 매핑한다.
• 편향, 취약성, 판단의 역학, 인간-LLM 공동 판단 등의 도전에 대해 논의한다.

Figure 3: LLMs are capable of judging various attributes.