[论文解读] Skill-Mix: a Flexible and Expandable Family of Evaluations for AI models

Dingli Yu, Simran Kaur+4 more|arXiv (Cornell University)|Oct 26, 2023

Scientific Computing and Data Management被引用 6

一句话总结

本文提出了 Skill-Mix，这是一种灵活且可扩展的评估框架，通过在随机的主题-技能组合上生成文本，测试大语言模型（LLM）以新颖方式组合多种语言和推理技能的能力。该方法通过要求模型在训练数据之外进行综合生成，有效抵抗了数据污染和‘填鸭式记忆’的影响。结果表明，GPT-4 在 k=5 组合上的优异表现表明其已超越‘随机鹦鹉’行为。

ABSTRACT

With LLMs shifting their role from statistical modeling of language to serving as general-purpose AI agents, how should LLM evaluations change? Arguably, a key ability of an AI agent is to flexibly combine, as needed, the basic skills it has learned. The capability to combine skills plays an important role in (human) pedagogy and also in a paper on emergence phenomena (Arora & Goyal, 2023). This work introduces Skill-Mix, a new evaluation to measure ability to combine skills. Using a list of $N$ skills the evaluator repeatedly picks random subsets of $k$ skills and asks the LLM to produce text combining that subset of skills. Since the number of subsets grows like $N^k$, for even modest $k$ this evaluation will, with high probability, require the LLM to produce text significantly different from any text in the training set. The paper develops a methodology for (a) designing and administering such an evaluation, and (b) automatic grading (plus spot-checking by humans) of the results using GPT-4 as well as the open LLaMA-2 70B model. Administering a version of to popular chatbots gave results that, while generally in line with prior expectations, contained surprises. Sizeable differences exist among model capabilities that are not captured by their ranking on popular LLM leaderboards ("cramming for the leaderboard"). Furthermore, simple probability calculations indicate that GPT-4's reasonable performance on $k=5$ is suggestive of going beyond "stochastic parrot" behavior (Bender et al., 2021), i.e., it combines skills in ways that it had not seen during training. We sketch how the methodology can lead to a Skill-Mix based eco-system of open evaluations for AI capabilities of future models.

研究动机与目标

• 解决当前大语言模型评估方法的局限性，这些方法易受训练数据集污染和排行榜‘填鸭式记忆’的影响。
• 开发一种评估方法，衡量模型在新颖、未见过的技能组合中灵活组合技能的能力。
• 创建一个可扩展、开放且可升级的评估框架，以支持未来人工智能能力的基准测试。
• 实现对大语言模型真正泛化能力和新颖推理能力的检测，超越统计模仿行为。
• 提供一种自动化评分方法，辅以人工抽查，以确保评估的可靠性与可扩展性。

提出的方法

• 定义一组 N 个核心技能（例如，隐喻、误导性信息、肯定前件式推理），并提供清晰的定义和示例。
• 选择 T 个在训练数据中频率较低但不可忽略的主题（例如，'决斗'、'园艺'）。
• 对于每个评估实例，从 N 个技能中随机采样 k 个技能，并从 T 个主题中随机选择一个主题。
• 提示大语言模型生成一段三句话的文本，展示所选主题下所有 k 个技能的应用。
• 使用 GPT-4 或 LLaMA-2 70B 自动评分输出的技能表现，辅以人工抽查进行验证。
• 通过增加 k 值来扩展评估规模，这会指数级增加唯一技能组合的数量（即 N 选 k），从而极大降低记忆的可能性。

实验结果

研究问题

• RQ1 大语言模型能否在训练期间未见过的技能与主题组合上，生成连贯且融合多种技能的文本？
• RQ2 当前的大语言模型在多大程度上表现出超越记忆的泛化能力，这可以通过技能组合的表现来衡量？
• RQ3 领先的大语言模型在技能组合任务上的表现，与其在标准排行榜上的排名相比如何？
• RQ4 使用 GPT-4 进行自动化评分是否能以最少的人工干预可靠地评估技能融合输出的质量？
• RQ5 在 k=5 的技能组合上表现优异是否意味着像 GPT-4 这类模型已超越‘随机鹦鹉’行为？

主要发现

• GPT-4 在 k=5 的技能组合上表现出一致且连贯的性能，表明其能够以训练中未直接观察到的方式组合技能。
• Skill-Mix 的评估结果揭示了模型能力之间的显著差异，这些差异在标准排行榜排名中并未显现，表明‘为排行榜而填鸭’是一个真实存在的问题。
• 技能组合可能数量的指数级增长（即 N 选 k）使得记忆变得极不可能，相比标准评估方法，显著降低了数据污染风险。
• 人工生成的 k=4 Skill-Mix 回答平均耗时超过 7 分钟，表明技能组合的认知负荷非同小可，无法通过简单的模式匹配轻易复制。
• 使用 GPT-4 进行自动化评分实现了高可靠性，人工抽查确认自动化评分与人工判断高度一致。
• 该方法可支持构建一个开放、可扩展的评估生态系统，能够随模型能力的发展而演进，为未来人工智能泛化能力的基准测试提供支持。