[论文解读] Holistic Evaluation of Language Models

Percy Liang, Rishi Bommasani+48 more|arXiv (Cornell University)|Nov 16, 2022

Topic Modeling被引用 115

一句话总结

HELM 引入了一个语言模型的整体基准，使用情境和指标的分类法，在 16 个核心情景中对 30 个模型进行评估，覆盖 7 个指标以及 7 个定向评估，并发布 prompts、completions，以及一个模块化工具包。

ABSTRACT

Language models (LMs) are becoming the foundation for almost all major language technologies, but their capabilities, limitations, and risks are not well understood. We present Holistic Evaluation of Language Models (HELM) to improve the transparency of language models. First, we taxonomize the vast space of potential scenarios (i.e. use cases) and metrics (i.e. desiderata) that are of interest for LMs. Then we select a broad subset based on coverage and feasibility, noting what's missing or underrepresented (e.g. question answering for neglected English dialects, metrics for trustworthiness). Second, we adopt a multi-metric approach: We measure 7 metrics (accuracy, calibration, robustness, fairness, bias, toxicity, and efficiency) for each of 16 core scenarios when possible (87.5% of the time). This ensures metrics beyond accuracy don't fall to the wayside, and that trade-offs are clearly exposed. We also perform 7 targeted evaluations, based on 26 targeted scenarios, to analyze specific aspects (e.g. reasoning, disinformation). Third, we conduct a large-scale evaluation of 30 prominent language models (spanning open, limited-access, and closed models) on all 42 scenarios, 21 of which were not previously used in mainstream LM evaluation. Prior to HELM, models on average were evaluated on just 17.9% of the core HELM scenarios, with some prominent models not sharing a single scenario in common. We improve this to 96.0%: now all 30 models have been densely benchmarked on the same core scenarios and metrics under standardized conditions. Our evaluation surfaces 25 top-level findings. For full transparency, we release all raw model prompts and completions publicly for further analysis, as well as a general modular toolkit. We intend for HELM to be a living benchmark for the community, continuously updated with new scenarios, metrics, and models.

研究动机与目标

• 定义一个 LM 评估情景与指标的分类法，以明确设计空间。
• 选择一个广泛、可行的核心情景和指标集，并明确关于覆盖遗漏的警示。
• 在情景中提供密集的多指标评估，以揭示超越准确率的权衡。
• 标准化评估条件，便于对不同模型进行直接、 公正的比较。
• 提供一个持续更新的基准，开放数据、提示词以及工具以促进社区驱动的扩展。

提出的方法

• 开发一个自上而下的情景分类法（任务-领域-语言）和七个指标类别（准确性、校准、鲁棒性、公平、偏见、毒性、效率）。
• 实现 16 个核心情景，每个情景 7 个指标，再加上在 26 个额外情景上的 7 个定向评估。
• 在标准化提示（5-shot）下，对来自开放、受限访问和封闭族群的 30 个显著语言模型进行基准测试。
• 公开获取原始 prompts 与 completions，并提供一个模块化工具包以添加新的情景、模型、指标和提示策略。
• 分析结果以揭示情景、指标与模型之间的相互作用，并确定 25 条高层发现。

Figure 1 : Language model. A language model takes text (a prompt) and generates text (a completion) probabilistically. Despite their simple interface, language models can be adapted to a wide range of language tasks from question answering to summarization.

实验结果

研究问题

• RQ1 当前语言模型在广泛、标准化的核心情景和指标集合上的性能如何？
• RQ2 准确性、校准、鲁棒性、公平、偏见、毒性和效率如何在模型与情景中相互作用？
• RQ3 模型访问方式（开放 vs 封闭）与评估结果之间存在哪些权衡和依赖？
• RQ4 模型评估对提示选择和自适应方法有多敏感？
• RQ5 在知识、推理、记忆、错误信息和其他专业技能的定向评估中，有哪些洞见？

主要发现

• 指令微调在核心指标上显示出好处，指令微调模型在相对于规模而言的准确性、鲁棒性和公平性方面表现强劲。
• 在核心情景中，开放模型与非开放模型之间仍存在显著差距，尽管开放模型随着时间在缩小这一差距。
• 校准与准确性的关系因情景和提示策略而异。
• 鲁棒性与公平性的扰动与准确性相关，但存在权衡：最准确的模型不一定是最鲁棒或最公平的。
• 人口统计元数据揭示若干模型在方言和群体之间的表现差异。
• 偏见和毒性生成在核心情景通常较低，但在某些情境下可能不容忽视，需要定向评估。
• 准确性与效率并非在所有模型上都呈统一权衡；较大模型提高准确性但成本更高，存在在准确性-效率帕累托前沿的某些模型。
• 问答在跨情景上表现出显著的异质性，在核心问答情景中 text-davinci-002 通常最准确。
• 使用语言模型进行段落排序的信息检索可以超越经典方法，但在某些设置下可能落后于最先进的微调检索器。
• 内存和版权泄露风险与模型准确性相关，在更高准确性的模型中更为显著。
• 知识密集型任务偏好更大或经过特殊调优的模型以获得高性能；代码专注模型在推理任务中表现出色。
• 提示格式与自适应强烈影响结果，凸显在跨模型标准化评估方面的挑战。
• 在模型族内存在扩展效应，但跨族比较表明一些较小、调优良好的模型在准确性上可与更大模型竞争。
• 在某些提示下，最大的模型在造假信息生成能力上最强，在其他提示下结果参差不齐。
• 该基准揭示了超越先前评估的综合洞察，包括提示敏感性和传统基准未捕捉的下游行为。

Figure 2 : The importance of the taxonomy to HELM. Previous language model benchmarks (e.g. SuperGLUE, EleutherAI LM Evaluation Harness, BIG-Bench) are collections of datasets, each with a standard task framing and canonical metric, usually accuracy ( left ). In comparison, in HELM we take a top-dow