[论文解读] Input-Tuning: Adapting Unfamiliar Inputs to Frozen Pretrained Models

Shengnan An, Yifei Li+7 more|arXiv (Cornell University)|Mar 7, 2022

Topic Modeling被引用 12

一句话总结

本文提出 Input-Tuning，一种通过联合优化连续软提示（soft prompts）和轻量级输入适配器模块（input-adapter module），以增强冻结的预训练语言模型（PLMs）在面对不熟悉输入时的自然语言生成（NLG）任务性能的方法。该方法在七个 NLG 任务上显著优于提示调优（prompt-tuning），且性能与全量微调（full fine-tuning）相当或更优。

ABSTRACT

Recently the prompt-tuning paradigm has attracted significant attention. By only tuning continuous prompts with a frozen pre-trained language model (PLM), prompt-tuning takes a step towards deploying a shared frozen PLM to serve numerous downstream tasks. Although prompt-tuning shows good performance on certain natural language understanding (NLU) tasks, its effectiveness on natural language generation (NLG) tasks is still under-explored. In this paper, we argue that one of the factors hindering the development of prompt-tuning on NLG tasks is the unfamiliar inputs (i.e., inputs are linguistically different from the pretraining corpus). For example, our preliminary exploration reveals a large performance gap between prompt-tuning and fine-tuning when unfamiliar inputs occur frequently in NLG tasks. This motivates us to propose input-tuning, which fine-tunes both the continuous prompts and the input representations, leading to a more effective way to adapt unfamiliar inputs to frozen PLMs. Our proposed input-tuning is conceptually simple and empirically powerful. Experimental results on seven NLG tasks demonstrate that input-tuning is significantly and consistently better than prompt-tuning. Furthermore, on three of these tasks, input-tuning can achieve a comparable or even better performance than fine-tuning.

研究动机与目标

• 为解决提示调优在输入语言特征与预训练分布差异较大的 NLG 任务中性能下降的问题。
• 探究是否可通过直接适配输入表示来弥合提示调优与全量微调之间的性能差距。
• 开发一种参数高效的方法，在保持 PLM 冻结的同时提升其对分布外输入的适应能力。
• 在多样化的 NLG 任务、主干网络和数据规模下评估 Input-Tuning 的有效性，尤其在低资源设置下。

提出的方法

• 在冻结 PLM 的词嵌入与第一层之间插入一个轻量级可训练输入适配器模块。
• 在训练过程中联合优化软提示与输入适配器参数，同时保持所有 PLM 权重冻结。
• 将输入适配器应用于转换输入 token 表示，再输入到冻结的 PLM 中处理。
• 在将序列输入到冻结 PLM 进行生成前，将软提示与输入适配器的输出拼接。
• 采用简单的前馈结构实现逐 token 的输入适配器，以避免破坏 PLM 的归纳偏置。
• 使用标准的序列到序列目标，通过生成任务上的交叉熵损失进行模型训练。

实验结果

研究问题

• RQ1 输入不熟悉性在多大程度上影响提示调优在 NLG 任务上的性能？
• RQ2 学习转换输入表示是否能提升提示调优在分布外输入上的性能？
• RQ3 将软提示与可学习输入适配器结合，是否能带来优于仅使用提示调优的泛化性能？
• RQ4 在性能与参数效率方面，Input-Tuning 与全量微调相比表现如何？
• RQ5 哪些设计选择（如适配器类型、提示长度）对 Input-Tuning 性能影响最大？

主要发现

• 在七个包含不熟悉输入的 NLG 任务上，Input-Tuning 显著优于提示调优，且在所有任务上均保持一致的性能提升。
• 在七项任务中的三项上，Input-Tuning 的性能达到或超过全量微调，尤其在低资源设置下表现突出。
• 通过人工对齐输入与预训练分布，可显著缩小提示调优与全量微调之间的性能差距，表明输入表示不匹配是关键瓶颈。
• 简单的逐 token 输入适配器优于更复杂的序列级适配器，表明轻量化设计更能保留 PLM 的能力。
• 软提示不可或缺：若移除软提示，Input-Tuning 性能甚至低于基线提示调优。
• Input-Tuning 在简单任务（如 E2E）上使用较短提示表现最佳，而在复杂任务（如 Fr-En）上则偏好更长提示，表明最优提示长度与任务复杂度相关。