[論文レビュー] A Survey on LLM-as-a-Judge

Jiawei Gu, Xinyan Jiang+14 more|arXiv (Cornell University)|Nov 23, 2024

Dispute Resolution and Class Actions被引用数 16

ひとこと要約

この調査は、評価者としての信頼性の高いLLMを構築する方法をレビューし、アーキテクチャ、 prompting戦略、評価パイプライン、信頼性ベンチマークを網羅する。LLMを審判として評価する新しいベンチマークを提案し、適用と課題を論じる。

ABSTRACT

Accurate and consistent evaluation is crucial for decision-making across numerous fields, yet it remains a challenging task due to inherent subjectivity, variability, and scale. Large Language Models (LLMs) have achieved remarkable success across diverse domains, leading to the emergence of "LLM-as-a-Judge," where LLMs are employed as evaluators for complex tasks. With their ability to process diverse data types and provide scalable, cost-effective, and consistent assessments, LLMs present a compelling alternative to traditional expert-driven evaluations. However, ensuring the reliability of LLM-as-a-Judge systems remains a significant challenge that requires careful design and standardization. This paper provides a comprehensive survey of LLM-as-a-Judge, addressing the core question: How can reliable LLM-as-a-Judge systems be built? We explore strategies to enhance reliability, including improving consistency, mitigating biases, and adapting to diverse assessment scenarios. Additionally, we propose methodologies for evaluating the reliability of LLM-as-a-Judge systems, supported by a novel benchmark designed for this purpose. To advance the development and real-world deployment of LLM-as-a-Judge systems, we also discussed practical applications, challenges, and future directions. This survey serves as a foundational reference for researchers and practitioners in this rapidly evolving field.

研究の動機と目的

• LLM-as-Evaluatorの概念を定義し、評価ワークフローを正式化する。
• prompting設計、モデル能力、後処理を含む信頼性向上戦略を調査する。
• モデル、データ、エージェントの文脈におけるLLM-as-a-Judgeの評価パイプラインを検討する。
• LLM-as-a-Judgeシステムの信頼性を評価する新規ベンチマークを提案する。
• 実世界への展開に向けた適用、課題、将来の方向性を議論する。）
• method/く
• {
• method 国

提案手法

• LLM-as-Evaluatorの形式的定義を提供し、評価アプローチを分類する（インコンテキスト学習、モデル選択、後処理、評価パイプライン）。
• スコア生成、Yes/No、ペアワイズ比較、複数選択などの prompting戦略と入力/プロンプト設計上の考慮事項を詳述する。
• 一般的なLLMとファインチューニングされた評価者、オープンソース対クローズドソースのデータ要件を含むモデル選択オプションを要約する。
• トークン抽出、ロジット正規化、文の選択などの後処理技術と、モデル・データ・エージェント用の異なるユースケースに対する評価パイプラインを説明する。
• 新規の信頼性ベンチマークを導入し、LLM-as-a-Judgeシステムを評価するデータセット、指標、および潜在的なバイアスについて論じる。

Figure 1 . Paper Structure.

実験結果

リサーチクエスチョン

• RQ1 LLMベースの評価における一貫性を高め、バイアスを低減させる最良の戦略は何か？
• RQ2 タスクやモダリティを横断して、信頼性を評価・ベンチマークするにはどうすべきか？
• RQ3 最も信頼性の高い評価を得るための prompting、モデル選択、後処理の組み合わせは何か？
• RQ4 データとエージェントの評価パイプラインへLLMを統合する際、拡張性と再現性をどう確保するか？

主な発見

• LLMsは評価者として有効に機能する可能性があるが、信頼性は prompting、モデル選択、出力後処理の慎重な設計を必要とする。
• 評価タスクでは、スコアベースの方法よりペアワイズ比較の方が人間の判断と一致することが多い。
• オープンソースおよびファインチューニングされた評価者（例：PandaLM、JudgeLM、Prometheus）は、さまざまな制約があるもののコストに優しい代替手段を提供する。
• 後処理（トークン抽出、ロジット正規化）は、安定して解釈可能な評価のために重要である。
• LLM-as-a-Judgeの信頼性を体系的に評価する新規ベンチマークを提案し、戦略とバイアスを評価する。
• 本論文は実用的な適用シナリオ、課題、および将来の研究方向を議論する。

Figure 2 . LLM-as-a-Judge Evaluation Pipelines.