[论文解读] Model ensemble instead of prompt fusion: a sample-specific knowledge transfer method for few-shot prompt tuning

Xiangyu Peng, Xing Chen+3 more|arXiv (Cornell University)|Oct 23, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出了一种新型少样本提示微调方法——样本特定源模型集成（SESoM），通过根据每个目标样本的需求自适应地加权多个源任务模型的预测结果，从而提升性能。与提示融合不同，SESoM采用基于注意力机制的样本特定集成策略，实现了在八个自然语言处理任务和三种模型规模（T5-Base 至 T5-XL）下的最先进结果。

ABSTRACT

Prompt tuning approaches, which learn task-specific soft prompts for a downstream task conditioning on frozen pre-trained models, have attracted growing interest due to its parameter efficiency. With large language models and sufficient training data, prompt tuning performs comparably to full-model tuning. However, with limited training samples in few-shot settings, prompt tuning fails to match the performance of full-model fine-tuning. In this work, we focus on improving the few-shot performance of prompt tuning by transferring knowledge from soft prompts of source tasks. Recognizing the good generalization capabilities of ensemble methods in low-data regime, we first experiment and show that a simple ensemble of model predictions based on different source prompts, outperforms existing multi-prompt knowledge transfer approaches such as source prompt fusion in the few-shot setting. Motivated by this observation, we further investigate model ensembles and propose Sample-specific Ensemble of Source Models (SESoM). SESoM learns to adjust the contribution of each source model for each target sample separately when ensembling source model outputs. Through this way, SESoM inherits the superior generalization of model ensemble approaches and simultaneously captures the sample-specific competence of each source prompt. We conduct experiments across a diverse set of eight NLP tasks using models of different scales (T5-{base, large, XL}) and find that SESoM consistently outperforms the existing models of the same as well as larger parametric scale by a large margin.

研究动机与目标

• 在标注数据稀缺的情况下提升少样本提示微调的性能。
• 解决现有多种提示知识迁移方法（如提示融合）在低数据场景下的局限性。
• 利用多个源任务的软提示，以增强少样本设置下的泛化能力。
• 开发一种适应单个目标样本的模型集成策略，而非应用固定的融合规则。
• 证明样本特定的模型集成在少样本 NLP 任务中优于提示级融合和均匀集成基线方法。

提出的方法

• 提出样本特定源模型集成（SESoM），学习动态的、样本特定的权重，用于集成多个源模型的预测结果。
• 使用一种注意力风格网络（G）基于输入特征和各源模型的表现，为每个目标输入生成自适应的集成权重。
• 使用目标任务的少样本标注数据训练集成权重，使模型能够学习到哪些源模型对每个样本最具能力。
• 以模型级集成替代提示融合：不再组合软提示，而是使用学习到的注意力权重组合模型输出。
• 将 SESoM 与冻结的预训练模型（T5-base、large、XL）结合，仅微调目标任务的软提示，其余参数保持冻结。
• 采用带有学习注意力权重的logit平均方法，组合来自源模型的预测结果，从而在低数据场景下提升鲁棒性和准确性。

实验结果

研究问题

• RQ1 在少样本提示微调中，对不同源模型预测结果进行简单均匀的logit平均集成，是否能优于提示融合？
• RQ2 样本特定的集成策略（即每个目标样本获得独特的源模型贡献组合）是否比固定或均匀的集成更有效？
• RQ3 SESoM 在多样化的 NLP 任务和不同模型规模下的性能，与提示融合及其他集成基线相比如何？
• RQ4 SESoM 学习到的注意力权重是否与源模型在单个目标样本上的实际预测能力一致？
• RQ5 当目标任务的标注样本数量极小时，SESoM 是否仍能表现出良好的泛化能力？

主要发现

• 在少样本设置下，对多个源模型预测结果进行简单均匀的logit平均集成，优于提示融合及其他多提示知识迁移方法。
• SESoM 在所有八个评估的 NLP 任务和三种 T5 模型规模（Base、Large、XL）下，始终优于所有基线方法，包括提示融合和其他集成方法。
• 在 MRPC 任务的案例研究中，SESoM 为在每个目标样本上做出正确预测的源模型分配更高的注意力权重，展示了样本特定的自适应能力。
• SESoM 模块 G 生成的注意力权重与各源模型在每个样本上的实际表现一致，证实了模型学习到相关且上下文感知的集成能力。
• 即使在增加标注样本数量和源任务数量的情况下，SESoM 仍保持卓越性能，表明其具备出色的可扩展性和鲁棒性。
• 该方法在所有测试场景中均达到最先进结果，证明了基于样本特定加权的模型级集成，优于提示级融合。