[論文レビュー] Generative Judge for Evaluating Alignment

Junlong Li, Shichao Sun+4 more|arXiv (Cornell University)|Oct 9, 2023

Topic Modeling被引用数 5

ひとこと要約

この論文では、58の多様なシナリオにわたる実際のユーザークエリとLLMが生成した応答を用いてトレーニングされた13Bパラメータの生成的ジャッジモデル、Auto-Jを紹介する。このモデルは、単一応答評価およびペairワイズ比較プロトコルの両方において、自然言語による批判を通じて柔軟で解釈可能なLLM出力の評価を可能にし、一貫性が高く詳細な推論を示しながら、強力なオープンソースおよびクローズドソースのベースラインを上回るアライメント評価性能を発揮する。

ABSTRACT

The rapid development of Large Language Models (LLMs) has substantially expanded the range of tasks they can address. In the field of Natural Language Processing (NLP), researchers have shifted their focus from conventional NLP tasks (e.g., sequence tagging and parsing) towards tasks that revolve around aligning with human needs (e.g., brainstorming and email writing). This shift in task distribution imposes new requirements on evaluating these aligned models regarding generality (i.e., assessing performance across diverse scenarios), flexibility (i.e., examining under different protocols), and interpretability (i.e., scrutinizing models with explanations). In this paper, we propose a generative judge with 13B parameters, Auto-J, designed to address these challenges. Our model is trained on user queries and LLM-generated responses under massive real-world scenarios and accommodates diverse evaluation protocols (e.g., pairwise response comparison and single-response evaluation) with well-structured natural language critiques. To demonstrate the efficacy of our approach, we construct a new testbed covering 58 different scenarios. Experimentally, Auto-J outperforms a series of strong competitors, including both open-source and closed-source models, by a large margin. We also provide detailed analysis and case studies to further reveal the potential of our method and make a variety of resources public at https://github.com/GAIR-NLP/auto-j.

研究の動機と目的

• 人間の価値に沿った生成タスクにおける一般性、柔軟性、解釈可能性に欠ける既存のLLM評価手法の限界を解消すること。
• 特許権のAPIに依存せず、多様な評価プロトコルをサポートできるスケーラブルでオープンソースの評価者を開発すること。
• 訓練用に高品質でシナリオ固有のデータセットを構築し、強力な生成的ジャッジを実現すること。
• 評価スコアの信頼性と人間が関与する運用における使いやすさを向上させるために、詳細な自然言語による説明を可能にすること。
• ファインチューニングを施したオープンウェイトのLLMが、多様なアライメントタスクにわたる汎用評価者としての有効性を実証すること。

提案手法

• 実際のユーザークエリとLLMの応答から得られた58の実世界シナリオを対象とした新規に構築されたデータセットを用いてAuto-Jをトレーニングすること。
• 各クエリ-応答ペアに対して、手作業で作成されたシナリオ固有の基準を用いてGPT-4により教師ありの評価ラベルを生成すること。
• 出力フォーマットの標準化とアノテーションノイズの低減を目的として、ヒューリスティックフィルタリングとポストプロセッシングを適用すること。
• 単一応答評価とペアワイズ比較プロトコルの両方をサポートする統一されたプロンプティングフレームワークを設計すること。
• Auto-Jから詳細で自然言語による批判を引き出すために、少数の例を用いたプロンプティングと思考の道筋を用いたプロンプティングを採用すること。
• 洗練されたデータセットを用いて13Bパラメータのモデルをファインチューニングし、アライメント評価性能を最適化すること。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニングを施したオープンソースLLMは、多様な実世界のアライメントタスクにおいて信頼性があり汎用的な評価者として機能できるか？
• RQ2 自然言語による説明を備えた生成的ジャッジは、数値のみの指標と比較して、評価の解釈可能性をどの程度向上させるか？
• RQ3 1つのモデルが、パフォーマンス劣化を伴わずに、ペアワイズ評価と単一応答評価の両方の評価プロトコルをサポートできるか？
• RQ4 Auto-Jは、オープンソースおよびクローズドソースの両方の評価者と比較して、アライメント評価の正確性と一貫性においてどの程度優れているか？
• RQ5 シナリオ固有のトレーニングデータが、生成的ジャッジの一般化能力および耐性にどのような影響を与えるか？

主な発見

• Auto-Jは、58の実世界シナリオにおけるアライメント評価において、多様な強力なオープンソースおよびクローズドソースのベースラインを上回る性能を発揮する。
• 特に、繊細な推論を要する、シナリオ固有の複雑な評価において、人間の判断と高い一致を示す。
• Auto-Jは、単一応答評価およびペアワイズ比較プロトコルの両方で優れたパフォーマンスを発揮し、高い柔軟性を示す。
• 詳細な自然言語による批判の組み込みにより、評価結果の解釈可能性と信頼性が顕著に向上する。
• 事例研究では、Auto-Jが論理的不整合や事実誤認などの微細な欠陥を、高い精度で同定できることを示している。
• 複雑な法的クエリにおいて、Auto-Jは32個の応答の中から最良の選択を6.0のスコアで達成し、全体のアライメントにおいてGPT-4（9.0）を上回るという、高リスクなシナリオにおける耐性を示している。