[论文解读] Cappy: Outperforming and Boosting Large Multi-Task LMs with a Small Scorer

Bowen Tan, Yun Zhu+4 more|arXiv (Cornell University)|Nov 12, 2023

Topic Modeling被引用 4

一句话总结

Cappy 是一个参数量为 360M 的预训练评分模型，通过为指令的候选回复打分，提升大型多任务语言模型（LLMs）的性能，实现无需微调的性能增强。它在 11 项分类任务上超越了参数量更大的 LLM，在 45 项复杂的 BIG-Bench 任务上显著提升了 FLAN-T5 的表现，通过高效且参数高效的回复选择实现性能提升。

ABSTRACT

Large language models (LLMs) such as T0, FLAN, and OPT-IML, excel in multi-tasking under a unified instruction-following paradigm, where they also exhibit remarkable generalization abilities to unseen tasks. Despite their impressive performance, these LLMs, with sizes ranging from several billion to hundreds of billions of parameters, demand substantial computational resources, making their training and inference expensive and inefficient. Furthermore, adapting these models to downstream applications, particularly complex tasks, is often unfeasible due to the extensive hardware requirements for finetuning, even when utilizing parameter-efficient approaches such as prompt tuning. Additionally, the most powerful multi-task LLMs, such as OPT-IML-175B and FLAN-PaLM-540B, are not publicly accessible, severely limiting their customization potential. To address these challenges, we introduce a pretrained small scorer, Cappy, designed to enhance the performance and efficiency of multi-task LLMs. With merely 360 million parameters, Cappy functions either independently on classification tasks or serve as an auxiliary component for LLMs, boosting their performance. Moreover, Cappy enables efficiently integrating downstream supervision without requiring LLM finetuning nor the access to their parameters. Our experiments demonstrate that, when working independently on 11 language understanding tasks from PromptSource, Cappy outperforms LLMs that are several orders of magnitude larger. Besides, on 45 complex tasks from BIG-Bench, Cappy boosts the performance of the advanced multi-task LLM, FLAN-T5, by a large margin. Furthermore, Cappy is flexible to cooperate with other LLM adaptations, including finetuning and in-context learning, offering additional performance enhancement.

研究动机与目标

• 解决为下游任务微调大型多任务 LLM 所带来的高计算成本和低效问题。
• 在无需访问其参数的情况下，实现对强大但不可访问的 LLM（如 OPT-IML-175B、FLAN-PaLM-540B）的性能增强。
• 开发一个轻量、高效且灵活的组件，可独立使用或与 LLM 协同使用，以提升任务泛化能力。
• 提出一种弱监督预训练数据构建方法，利用 LLM 生成的正确性评分，对评分模型进行回归式训练。

提出的方法

• Cappy 是一个基于 RoBERTa 的 360M 参数模型，用于预测给定（指令，回复）对的正确性评分（0–1）。
• 它采用弱监督的数据构建流程：现有多任务 LLM 生成回复，Rouge-L 分数用作弱监督信号，生成回归标签。
• 预训练数据通过数据增强构建：利用现有 LLM 从预训练数据集中生成多样化的（指令，回复，评分）三元组。
• Cappy 采用候选选择范式：对于给定指令，对多个候选回复进行评分，并选择得分最高的回复。
• 它可独立用于分类任务，也可作为辅助组件在不微调 LLM 的情况下提升其性能。
• 它兼容其他适配技术（如少样本提示学习和微调），可进一步提升性能。

实验结果

研究问题

• RQ1 一个小型轻量级评分模型是否能在零样本分类任务上超越参数量大得多的多任务 LLM？
• RQ2 一个小型评分模型是否能有效提升大型多任务 LLM 在复杂、未见任务上的表现，而无需参数更新？
• RQ3 通过 LLM 生成的回复和 Rouge-L 分数进行弱监督，在训练高性能正确性评分模型方面是否有效？
• RQ4 该评分模型能否灵活集成到其他 LLM 适配策略（如少样本提示学习或微调）中？

主要发现

• 在 PromptSource 的 11 项语言理解任务中，Cappy 尽管参数量小一个数量级以上，仍优于更大的多任务 LLM，准确率更高。
• 在 BIG-Bench 的 45 项复杂任务中，Cappy 在无需对 FLAN-T5 进行任何微调的情况下，显著提升了其性能。
• 消融实验证明，持续预训练和基于 LLM 的数据增强对 Cappy 的性能均至关重要，其中数据增强的影响更强。
• 当与其它适配方法（如少样本提示学习和微调）结合时，Cappy 能进一步提升性能，证明其兼容性和可扩展性。
• 使用 Rouge-L 作为弱监督指标是有效的，尽管不完美，未来工作可探索更适合多任务场景的正确性度量指标。