[论文解读] L-Eval: Instituting Standardized Evaluation for Long Context Language Models

Chenxin An, Shansan Gong+6 more|arXiv (Cornell University)|Jul 20, 2023

Natural Language Processing Techniques被引用 5

一句话总结

L-Eval 引入了一个用于评估长上下文语言模型（LCLMs）的标准化基准，包含20个多样化子任务、508篇长文档，以及超过2,000对人工标注的查询-响应对，覆盖3k–200k token的范围。该研究发现传统n-gram指标与人类判断的相关性较差，因此主张采用长度-指令增强型（LIE）评估方法和大语言模型（LLM）裁判，这些方法显著提升了与人类评估的相关性（例如，Kendall-Tau τ 最高提升0.35）。

ABSTRACT

Recently, there has been growing interest in extending the context length of large language models (LLMs), aiming to effectively process long inputs of one turn or conversations with more extensive histories. While proprietary models such as GPT-4 and Claude can largely preserve the reasoning ability in an extended context, open-source models are still progressing through the early stages of development. To bridge this gap, we propose L-Eval to institute a more standardized evaluation for long context language models (LCLMs) addressing two key aspects: dataset construction and evaluation metrics. On the one hand, we build a new evaluation suite containing 20 sub-tasks, 508 long documents, and over 2,000 human-labeled query-response pairs encompassing diverse question styles, domains, and input length (3k$\sim$200k tokens). On the other hand, we investigate the effectiveness in evalution metrics for LCLMs. Results show that popular n-gram matching metrics generally can not correlate well with human judgment, and thus we strongly advocate for length-instruction-enhanced (LIE) evaluation and employing LLM judges. We conducted a comprehensive study of 4 popular commercial LLMs and 12 open-source counterparts using the L-Eval benchmark. Our empirical findings offer useful insights into the study of LCLMs and lay the groundwork for the development of more principled evaluation of these models.

研究动机与目标

• 解决长上下文语言模型（LCLMs）在开源环境下的标准化评估缺失问题。
• 构建一个高质量、多样化的基准，包含长上下文输入（3k–200k token）以及人工标注的查询与响应。
• 探究传统n-gram指标（如ROUGE）在零样本设置下评估LCLMs时的局限性。
• 提出并验证长度-指令增强型（LIE）评估与LLM裁判，作为词法匹配指标的更优替代方案。
• 对16个LLM（4个商业模型，12个开源模型）进行全面比较，揭示其在长上下文下的性能差距与模型行为差异。

提出的方法

• 构建一个包含20个子任务的新评估套件：4个为新标注，4个从公开数据集重新标注，12个从先前的长序列数据集手动清洗而来。
• 将任务划分为封闭式（推理/理解）与开放式（摘要）两类，以覆盖多样化的评估需求。
• 通过人工验证所有样本在数据收集后的质量，特别强调问题风格、领域和输入长度的多样性。
• 以人类判断为黄金标准，评估自动指标的相关性，重点关注Kendall-Tau（τ）相关系数。
• 引入长度-指令增强型（LIE）评估，以校正基于参考文本指标中的生成长度偏差。
• 在长上下文评估设置中，使用短上下文LLM裁判评估开放式输出，提升与人类评估的一致性。

实验结果

研究问题

• RQ1 在LCLM的零样本评估中，传统n-gram指标（如ROUGE）与人类判断的相关性有多高？
• RQ2 LIE评估在不同输入长度下，对提升指标与人类判断相关性的有效性如何？
• RQ3 在长上下文设置下，开源LCLM与商业模型（如GPT-4、Claude）在推理与摘要任务中的表现如何比较？
• RQ4 随着上下文长度增加，LCLM中指令遵循失败的现象在多大程度上显现？
• RQ5 在长上下文设置中，端到端全上下文建模与检索增强系统相比，表现如何？

主要发现

• 在长上下文设置下，传统n-gram指标（如ROUGE）与人类判断的相关性较弱，大多数情况下Kendall-Tau τ值低于0.3。
• LIE评估显著提升了指标与人类判断的相关性，所有自动指标的τ值最高提升达0.35。
• LLM裁判在评估开放式输出时，准确率高于n-gram指标，且与人类评估的对齐性更强。
• 开源LCLM与商业模型之间存在显著性能差距，尤其在开放式摘要任务中，而这一差距未被n-gram指标捕捉。
• 开源模型在封闭式任务中表现有所提升，但在开放式任务中因大规模下的指令误解而无法泛化。
• 在长上下文设置中，端到端全上下文模型优于检索增强系统，即使使用稀疏检索方法也是如此。