[論文レビュー] LLM-based NLG Evaluation: Current Status and Challenges

Mingqi Gao, Xinyu Hu+3 more|arXiv (Cornell University)|Feb 2, 2024

Fault Detection and Control Systems被引用数 14

ひとこと要約

LLMベースのNLG評価パラダイム四つ（LLM由来の指標、プロンプティング、ファインチューニング、そして人間-LLM協力）に関する包括的な調査、利点/欠点、および今後の課題。

ABSTRACT

Evaluating natural language generation (NLG) is a vital but challenging problem in natural language processing. Traditional evaluation metrics mainly capturing content (e.g. n-gram) overlap between system outputs and references are far from satisfactory, and large language models (LLMs) such as ChatGPT have demonstrated great potential in NLG evaluation in recent years. Various automatic evaluation methods based on LLMs have been proposed, including metrics derived from LLMs, prompting LLMs, fine-tuning LLMs, and human-LLM collaborative evaluation. In this survey, we first give a taxonomy of LLM-based NLG evaluation methods, and discuss their pros and cons, respectively. Lastly, we discuss several open problems in this area and point out future research directions.

研究の動機と目的

• LLMベースのNLG評価手法（LLM由来の指標、 prompting、 fine-tuning、そして人間-LLM協力） の分類法を提供する。
• 各カテゴリの利点と制約および従来の指標との関係を論じる。
• 人間-LLM協力を堅牢な評価パラダイムとして探る。
• 堅牢性、効率、フェアネス、再現性といった未解決の課題を特定し、今後の研究方向を提案する。

提案手法

• 既存の研究を、LLMがNLG評価にどのように活用されているかに基づいて四つのカテゴリに分類する。
• embeddingベースおよび確率ベースのLLM由来指標とそのトレードオフについて論じる。
• タスク指示と入力内容の考慮を含む、スコアリング、比較、ランキング、Boolean QA、誤り分析を含むプロンプティング戦略を要約する。
• 評価のためのデータ構築、評価基準、パフォーマンスの考慮を含む、オープンソースLLM上のファインチューニング手法を検討する。
• 評価、デバッグ、監査といった広義の評価タスクと、COEVALのような実例を挙げて、人間-LLM協働による評価フレームワークを検討する。

実験結果

リサーチクエスチョン

• RQ1 主なLLMベースのNLG評価アプローチは何で、それらは概念的にも実践的にもどのように異なるのか。
• RQ2 LLM由来メトリクス、 prompting、 fine-tuning、そして人間-LLM協力のNLG評価における長所と短所は何か。
• RQ3 人間とLLMの協力は、NLG評価における信頼性と人間の判断との整合性をどのように高められるか。
• RQ4 堅牢性、効率、フェアネス、再現性といった未解決の課題と、将来の研究に有望な方向性は何か。

主な発見

• LLMベースのNLG評価は、LLM由来の指標、 prompting、ファインチューニング、そして人間-LLM協働評価の四つのカテゴリに整理できる。
• 埋め込み型および確率ベースのLLM由来指標は、従来の指標よりも人間の判断との相関が高いが、堅牢性と効率性の問題に直面する。
• プロンプティングは多くのタスクで人間の判断との高い相関を生み出し、説明可能性を可能にする一方で、位置依存性などの弱点を抱えることがある。
• オープンソースLLMを高品質な評価データでファインチューニングすると、コストを抑えつつGPT-4相当の性能と再現性の向上を達成できるが、バイアスとデータ構築の課題は残る。
• 人間-LLM協働は信頼性を高め、説明可能性を提供できる可能性があり、COEVALのようなパイプラインは実務的な恩恵を示しつつ、継続的な人間の監督を要する。