[論文レビュー] LLMs-as-Judges: A Comprehensive Survey on LLM-based Evaluation Methods

Haitao Li, Qian Dong+6 more|arXiv (Cornell University)|Dec 7, 2024

Legal Education and Practice Innovations被引用数 21

ひとこと要約

本論文は、機能性、方法論、応用、メタ評価、制限事項にわたる評価者としての大規模言語モデル（LLMs-as-judges）のパラダイムを調査し、コミュニティ向けのオープンソースリソースを提供します。

ABSTRACT

The rapid advancement of Large Language Models (LLMs) has driven their expanding application across various fields. One of the most promising applications is their role as evaluators based on natural language responses, referred to as ''LLMs-as-judges''. This framework has attracted growing attention from both academia and industry due to their excellent effectiveness, ability to generalize across tasks, and interpretability in the form of natural language. This paper presents a comprehensive survey of the LLMs-as-judges paradigm from five key perspectives: Functionality, Methodology, Applications, Meta-evaluation, and Limitations. We begin by providing a systematic definition of LLMs-as-Judges and introduce their functionality (Why use LLM judges?). Then we address methodology to construct an evaluation system with LLMs (How to use LLM judges?). Additionally, we investigate the potential domains for their application (Where to use LLM judges?) and discuss methods for evaluating them in various contexts (How to evaluate LLM judges?). Finally, we provide a detailed analysis of the limitations of LLM judges and discuss potential future directions. Through a structured and comprehensive analysis, we aim aims to provide insights on the development and application of LLMs-as-judges in both research and practice. We will continue to maintain the relevant resource list at https://github.com/CSHaitao/Awesome-LLMs-as-Judges.

研究の動機と目的

• LLMs-as-judges パラダイムとその評価フレームワークを定義・形式化する。
• 機能性、方法論、応用、メタ評価、制限の5つの観点から現在の研究を系統的に分析する。
• 研究と実践を導くための課題、機会、今後の方向性を特定する。
• コミュニティの協力とベストプラクティスを促進するオープンソースのリポジトリを提供する。

提案手法

• 評価設定を単一のLLM、複数LLM、ハイブリッド（人間-AI）構成に分類する。
• LLM判定者の入力（評価タイプ、基準、参照）と出力（評価結果、説明、フィードバック）を説明する。
• 評価モード（ポイントワイズ、ペアワイズ、リストワイズ）と、基準および参照が判断に与える影響を詳述する。
• プロンプティング、チューニング、データ構築、マルチLLM集約を含む方法論的アプローチを調査する。
• LLMベースの評価性能を評価するために用いられるメタ評価ベンチマークと指標について論じる。

実験結果

リサーチクエスチョン

• RQ1 LLMs-as-judges のコアとなる要素と定義は何か？
• RQ2 単一LLM、マルチLLM、そして人間-AIハイブリッドの設定において、LLMベースの評価者はどのように構築・設定されているか？
• RQ3 どのドメイン、タスク、基準が、LLMベースの評価手法の影響を最も受けているか？
• RQ4 LLM判定者自身をどのように評価すべきか（メタ評価）と、それらの制限は何か？
• RQ5 LLMベースの評価の効率性、効果性、信頼性、公平性を改善できる今後の方向性は何か？

主な発見

• LLMs-as-judges は、タスク横断で拡張・一般化できる柔軟な評価基準と解釈可能なフィードバックを提供します。
• 評価出力には通常、主要な結果に加えて説明と実用的なフィードバックが含まれ、透明な評価を可能にします。
• 信頼性と公平性に影響を与える顕著なバイアス、プロンプト依存性、および推移性の問題が存在します。
• 本調査は、プロンプトベースからチューニングベース、マルチLLM集約へと手法を整理し、コストとロバスト性のトレードオフを強調します。
• 継続的な協力と標準化を支援するオープンソースリソース（Awesome-LLMs-as-Judges）を提供します。