[論文レビュー] L-Eval: Instituting Standardized Evaluation for Long Context Language Models

Chenxin An, Shansan Gong+6 more|arXiv (Cornell University)|Jul 20, 2023

Natural Language Processing Techniques被引用数 5

ひとこと要約

L-Evalは、長文脈言語モデル（LCLMs）を評価するための標準化されたベンチマークを導入し、20の多様なサブタスク、508件の長文ドキュメント、3,000～200,000トークンにわたる2,000件を超える人間によるアノテート済みのクエリ・レスポンスペアを含む。従来のn-gramメトリクスが人間の判断と弱く相関していることが示され、代わりに長さ・指示を考慮した（LIE）評価とLLMジャッジを提唱する。これにより、人間評価との相関が顕著に向上し（例： Kendall-Tau τは最大0.35上昇）、優れた代替手段となる。

ABSTRACT

Recently, there has been growing interest in extending the context length of large language models (LLMs), aiming to effectively process long inputs of one turn or conversations with more extensive histories. While proprietary models such as GPT-4 and Claude can largely preserve the reasoning ability in an extended context, open-source models are still progressing through the early stages of development. To bridge this gap, we propose L-Eval to institute a more standardized evaluation for long context language models (LCLMs) addressing two key aspects: dataset construction and evaluation metrics. On the one hand, we build a new evaluation suite containing 20 sub-tasks, 508 long documents, and over 2,000 human-labeled query-response pairs encompassing diverse question styles, domains, and input length (3k$\sim$200k tokens). On the other hand, we investigate the effectiveness in evalution metrics for LCLMs. Results show that popular n-gram matching metrics generally can not correlate well with human judgment, and thus we strongly advocate for length-instruction-enhanced (LIE) evaluation and employing LLM judges. We conducted a comprehensive study of 4 popular commercial LLMs and 12 open-source counterparts using the L-Eval benchmark. Our empirical findings offer useful insights into the study of LCLMs and lay the groundwork for the development of more principled evaluation of these models.

研究の動機と目的

• 特にオープンソース環境において、長文脈言語モデル（LCLMs）の評価が標準化されていない問題に対処する。
• 長文脈入力（3,000～200,000トークン）と人間アノテート済みのクエリ・レスポンスペアを含む、高品質で多様なベンチマークを開発する。
• ゼロショット設定下でのLCLMs評価において、従来のn-gramメトリクス（例： ROUGE）の限界を調査する。
• 参照ベースのメトリクスにおける生成長さバイアスを是正するための長さ・指示を考慮した（LIE）評価とLLMジャッジを提唱し、その有効性を検証する。
• 16のLLM（4社の商用モデル、12のオープンソースモデル）を包括的に比較し、長文脈下でのパフォーマンス格差とモデルの挙動を明らかにする。

提案手法

• 20のサブタスクを有する新しい評価スイートを構築：4つのタスクは新たにアノテート、4つは公開データセットから再アノテート、残りの12つは過去の長文シーケンスデータセットを手作業でクリーニング。
• 閉形式（推論・理解）と開放形式（要約）のタスクに分類し、多様な評価ニーズをカバーする。
• 収集後、全サンプルの手作業による検証を実施し、質の向上を図る。質問のスタイル、分野、入力長の多様性に特に配慮する。
• 人間の判断をゴールドスタンダードとして、自動メトリクスの評価を実施。主にKendall-Tau（τ）相関を重視する。
• 参照ベースのメトリクスにおける生成長さバイアスを是正するため、長さ・指示を考慮した（LIE）評価を導入する。
• 短文脈LLMジャッジを長文脈評価環境に適用し、開放形式出力の評価を実施。これにより、人間評価との整合性が向上する。

実験結果

リサーチクエスチョン

• RQ1 従来のn-gramメトリクス（例： ROUGE）は、LCLMsのゼロショット評価において、どの程度人間の判断と相関しているか？
• RQ2 LIE評価は、さまざまな入力長において、メトリクスと人間の判断との相関をどの程度向上させるか？
• RQ3 オープンソースLCLMsは、長文脈下の推論および要約タスクにおいて、商用モデル（例： GPT-4、Claude）と比較してどの程度の性能を示すか？
• RQ4 文脈長が延長するに従い、LCLMsで命令従い失敗がどの程度顕在化するか？
• RQ5 エンドツーエンドのフルコンテキストモデリングは、リtrieval増強システムと比較して、長文脈環境下でどの程度優れているか？

主な発見

• 従来のn-gramメトリクス（例： ROUGE）は、長文脈環境下で人間の判断と弱い相関を示し、ほとんどのケースでKendall-Tau τ値が0.3未満である。
• LIE評価は、人間の判断との相関を顕著に向上させ、すべての自動メトリクスでτ値が最大0.35上昇する。
• LLMジャッジはn-gramメトリクスよりも高い正確性を示し、人間評価との整合性が強い。
• オープンソースLCLMsと商用モデルの間には顕著なパフォーマンス格差が存在し、特に開放形式の要約タスクで顕著である。この格差はn-gramメトリクスでは捉えられていない。
• オープンソースモデルは閉形式タスクではパフォーマンスが向上するが、スケールが大きくなると命令の誤解により、開放形式タスクへの一般化に失敗する。
• エンドツーエンドのフルコンテキストモデルは、スパースリtrieバルを用いても、リtrieval増強システムを上回る性能を示す。