[論文レビュー] Are Large Language Model-based Evaluators the Solution to Scaling Up Multilingual Evaluation?

Rishav Hada, Varun Gumma+6 more|arXiv (Cornell University)|Sep 14, 2023

Evaluation and Performance Assessment被引用数 7

ひとこと要約

本稿では、GPT-4が大規模な多言語評価者としての役割を果たせるかどうかを検討し、8ヶ国語・3つのタスクで20,000件の人的アノテーションと照合してその判断を補正する。GPT-4は特に低リソース言語やローマ字以外の script 言語において、高いスコアを付ける一貫したバイアスを示しており、信頼できる多言語評価を実現するには人的アノテーションによる補正が不可欠であることが明らかになった。

ABSTRACT

Large Language Models (LLMs) excel in various Natural Language Processing (NLP) tasks, yet their evaluation, particularly in languages beyond the top $20$, remains inadequate due to existing benchmarks and metrics limitations. Employing LLMs as evaluators to rank or score other models' outputs emerges as a viable solution, addressing the constraints tied to human annotators and established benchmarks. In this study, we explore the potential of LLM-based evaluators, specifically GPT-4 in enhancing multilingual evaluation by calibrating them against $20$K human judgments across three text-generation tasks, five metrics, and eight languages. Our analysis reveals a bias in GPT4-based evaluators towards higher scores, underscoring the necessity of calibration with native speaker judgments, especially in low-resource and non-Latin script languages, to ensure accurate evaluation of LLM performance across diverse languages.

研究の動機と目的

• 英語以外の言語にまでスケーラブルに多言語評価を拡張できるかどうか、GPT-4のような大規模言語モデル（LLM）が人的アノテーターのコストを削減できるかを評価すること。
• 特に中国語、日本語、チェコ語のような低リソース言語や非ラテン文字を使用する言語において、LLMベースの評価者に見られるバイアスを特定・定量すること。
• 多様な言語と評価指標において、LLMベースの評価の一貫性を向上させるためのさまざまなプロンプト戦略の有効性を評価すること。
• 人間の判断を基準にした補正フレームワークを確立し、タスク、言語、評価次元にわたり信頼性があり一般化可能な評価を実現すること。
• 今後の研究に向けたベストプラクティスを提供し、英語圏以外の環境では人的アノテーションによる補正なしにLLMベースの評価者を導入する際の注意を強調すること。

提案手法

• 8ヶ国語で実施された3つのテキスト生成タスク（要約、翻訳、対話など）において、20,000件の人的アノテーションスコアと照合してGPT-4の判断を補正した。
• 多様な言語をカバーするための多次元評価フレームワークを用い、言語的妥当性、タスク達成度、安全性、一貫性、流暢さを評価した。
• 複数のプロンプト戦略を検討：単一指標プロンプト対比多指標プロンプト、few-shot例、詳細な指示セット。
• LLMと人的判断の一致度を、パcentage agreement（PA）と相関係数（例：Spearmanのrho）を用いて測定し、信頼性を評価した。
• 特に低リソース言語や構文的に複雑な言語において、モデルの指示の明確さや評価者ポジション（ペルソナ）設計が判断の一貫性に与える影響を評価した。
• LLMの出力を、基準となる人的判断に基づいて補正するフレームワークを提案し、系統的なバイアスを低減した。

Figure 1: Pipeline of our experiments involving generation, evaluation, and calibration.

実験結果

リサーチクエスチョン

• RQ1 GPT-4は、低リソース言語や非ラテン文字を使用する言語を含む多様な言語において、LLM出力の信頼できる多言語評価者として機能できるか？
• RQ2 GPT-4のようなLLMベースの評価者において、スコアが高めに評価されるバイアスはどの程度強く現れ、言語系統やリソースレベルによってどのように変化するか？
• RQ3 単一指標対比多指標プロンプト、few-shot例などの異なるプロンプト戦略が、LLMベースの評価の一貫性と正確性にどのように影響するか？
• RQ4 詳細な指示セットや評価者ペルソナの導入が、多言語LLM評価におけるバイアス低減に与える影響は何か？
• RQ5 人的アノテーションによる補正は、言語的に複雑または未代表的な言語において、LLMの判断と人的コンセンサスを一致させるのにどの程度有効か？

主な発見

• GPT-4ベースの評価者では、中国語や日本語などの非ラテン文字を使用する言語、およびチェコ語のような低リソース言語において、人的アノテーターと比較して常に高いスコアが付与される傾向がある。
• GPT-4と人的判断の間のパーセンテージ一致（PA）は全体的に高く、しかしこれは人間のコンセンサスに正確に一致しているのではなく、GPT-4の高スコアバイアスに起因している。
• 1つの指標を一度に評価する戦略の方が、複数の指標を一度に評価するプロンプトよりも信頼性が高かったが、その代わりLLMの推論コール数が増加した。
• few-shot例の提示やより詳細な指示の提供は、スコアの高め評価バイアスを顕著に低減できず、これはモデル行動そのものに内在するシステム的問題であることを示している。
• 特に豊富な屈曲語彙や複雑な書記体系、または訓練データへの露出が限られた言語において、バイアスが顕著に現れ、LLMが言語の多様性に対処するのに苦労していることが示唆された。
• 本研究の結論として、特に英語圏外や低リソース言語環境では、母語話者の判断による補正なしにLLMベースの評価者を導入すべきではない。

(a) PA by language: Full dataset