[論文レビュー] Calibrating LLM-Based Evaluator

Yuxuan Liu, Tianchi Yang+7 more|arXiv (Cornell University)|Sep 23, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

この論文では、自然言語生成（NLG）評価における人間の好みとの整合性を向上させるために、勾配フリーでマルチステージのフレームワークであるAutoCalibrateを提案する。文書要約、データから文章への変換、幻覚検出のタスクにおいて、人間のアノテーションラベルから自動的にスコアリング基準を抽出・精錬・最適化することで、自己注意学習（in-context learning）と自己精錬（self-refinement）を活用し、専門家の判断との相関を顕著に向上させる。

ABSTRACT

Recent advancements in large language models (LLMs) on language modeling and emergent capabilities make them a promising reference-free evaluator of natural language generation quality, and a competent alternative to human evaluation. However, hindered by the closed-source or high computational demand to host and tune, there is a lack of practice to further calibrate an off-the-shelf LLM-based evaluator towards better human alignment. In this work, we propose AutoCalibrate, a multi-stage, gradient-free approach to automatically calibrate and align an LLM-based evaluator toward human preference. Instead of explicitly modeling human preferences, we first implicitly encompass them within a set of human labels. Then, an initial set of scoring criteria is drafted by the language model itself, leveraging in-context learning on different few-shot examples. To further calibrate this set of criteria, we select the best performers and re-draft them with self-refinement. Our experiments on multiple text quality evaluation datasets illustrate a significant improvement in correlation with expert evaluation through calibration. Our comprehensive qualitative analysis conveys insightful intuitions and observations on the essence of effective scoring criteria.

研究の動機と目的

• スコアリングの説明が曖昧または一貫性がないために、市販のLLMベースの評価者と人間の好みがずれがちなことが一般的であるため、そのキャリブレーションの欠如に取り組む。
• BLEU や ROUGE などのリファレンスベースの指標や、BERTScore などのリファレンスフリー指標は、依然としてリファレンス出力に依存するか、人間との相関が低いという限界を克服する。
• 人間の好みを明示的にモデル化する必要なく、データ駆動型の自動手法によって高品質で人間と整合性のあるスコアリング基準を生成・精錬する。
• プロンプトテンプレートに明確で構造化された基準を埋め込むことで、LLMベースの評価の整合性と信頼性を向上させる。
• スケーラブルで勾配フリーのキャリブレーションパイプラインを提供することで、人間との整合性が高いLLM評価者の実用的導入を可能にする。

提案手法

• 人間のアノテーションに基づく（サンプル、ラベル）ペアのゴールデンデータセット $D^*$ を構築し、人間の好みを表現する。
• 少量の例（few-shot）を用いたイン・コンテキスト・ラーニングにより、LLMを用いて人間ラベルデータに基づき初期のスコアリング基準のセットを生成する。
• ゴールデンデータセット上で候補となる基準セットを評価し、専門家のラベルとの相関に基づいて、最もパフォーマンスの良いものをフィルタリングして選択する。
• 最もパフォーマンスの良い基準セットに対して自己精錬（self-refinement）を適用し、明確さ、一貫性、人間の判断との整合性を向上させる。
• 最終的なキャリブレーション済み基準を評価プロンプトテンプレート $\mathcal{T}$ に統合し、一般的な指示の代わりに明確で構造化された評価基準を埋め込む。
• 段階的パイプライン（ドラフト → 評価 → フィルタリング → 精錬 → 適用）を用い、勾配ベースのチューニングを一切用いずに反復的改善を実現する。

実験結果

リサーチクエスチョン

• RQ1 微調整や明示的な好みモデル化を一切行わずに、LLMベースの評価者を人間の好みにうまくキャリブレーションできるか？
• RQ2 構造的かつデータから導出されたスコアリング基準を組み込むことで、LLMスコアと専門家の判断との相関がどの程度向上するか？
• RQ3 NLG評価に適した効果的なスコアリング基準の特徴とは何か？ そして、それらは自動的に発見・精錬可能か？
• RQ4 AutoCalibrateは、要約、データから文章への生成、幻覚検出といった多様なNLGタスクにおいて、どの程度パフォーマンスを向上させるか？
• RQ5 プロンプトフォーマット、入力の順序、出力空間の変化に対して、キャリブレート済みの評価者はどの程度頑健か？

主な発見

• AutoCalibrateは、SummEval、SFRES、QAGS-CNN といった複数のNLGベンチマークで、LLMベースのスコアと専門家の判断との相関を顕著に向上させる。
• ベースラインのLLM評価者およびBLEU や ROUGE といった従来のリファレンスベース指標よりも、キャリブレート済み評価者が専門家のスコアとの相関が高くなる。
• 自己精錬プロセスは、スコアリング基準の質を効果的に向上させ、曖昧さを低減し、評価意思決定の一貫性を高める。
• 本研究では、人間の判断との整合性を高めるために、粒度、明確さ、事実に基づく具体的さといった、効果的なスコアリング基準の設計原則を同定した。
• 各タスク用にリリースされた最適な基準セットは、将来のLLM評価システムの再利用可能で人間と整合性のあるベンチマークを提供する。
• 定性的な分析から、明確で多次元の基準（例：情報量、自然さ、事実性）を組み込むことで、一般的なスコアリング指示よりも信頼性が高く解釈可能な評価が可能になることが明らかになった。