[论文解读] EncT5: Fine-tuning T5 Encoder for Non-autoregressive Tasks
本文提出 EncT5，一种仅微调预训练 T5 模型编码器的高效方法，适用于分类和回归等非自回归任务。通过仅利用编码器，EncT5 在参数数量少于一半的情况下，实现了与完整 T5 模型相当的性能，展现出在 GLUE 基准测试中的高效率。
Encoder-decoder transformer architectures have become popular recently with the advent of T5 models. It is also more favorable over architectures like BERT for pre-training on language model task when it comes to large scale models which could take months to train given it's generality. While being able to generalize to more tasks, it is not evident if the proposed encoder-decoder architecture is the most efficient for fine-tuning on classification and regression tasks given the pre-trained model. In this work, we study fine-tuning pre-trained encoder-decoder models such as T5. Particularly, we propose extbf{EncT5} as a way to efficiently fine-tune pre-trained encoder-decoder T5 models for classification and regression tasks by using the encoder layers. Our experimental results show that extbf{EncT5} with less than half of the parameters of T5 performs similarly to T5 models on GLUE benchmark. We believe our proposed approach can be easily applied to any pre-trained encoder-decoder model.
研究动机与目标
- 探究仅微调预训练 T5 模型的编码器是否能在非自回归任务上达到与完整 T5 模型相当的性能。
- 提升微调编码器-解码器模型（如 T5）在下游分类与回归任务中的参数效率。
- 提出一种可泛化的通用方法，通过仅关注编码器的适配，适用于任何预训练的编码器-解码器模型。
- 在保持标准基准测试中竞争力表现的同时，降低计算成本与推理时间。
提出的方法
- 该方法通过冻结预训练 T5 模型的解码器及其注意力层，仅对编码器进行微调，以完成分类与回归任务。
- 输入序列经过分词后输入 T5 编码器，生成上下文表征，用于分类或回归头的预测。
- 在编码器最后一层的 [CLS] token 表征上附加分类或回归头以进行预测。
- 使用标准交叉熵损失或均方误差损失，对模型进行端到端的微调，分别适用于分类与回归任务。
- 该方法在 GLUE 基准上通过分类与回归任务的标准指标进行评估。
实验结果
研究问题
- RQ1仅微调预训练 T5 模型的编码器是否能在非自回归任务上实现与完整 T5 模型微调相当的性能？
- RQ2EncT5 在不同 GLUE 任务上的参数效率与完整 T5 模型相比如何？
- RQ3仅编码器的适配是否能在多样化的 NLP 任务中保持泛化能力？
- RQ4该方法是否可推广至 T5 以外的其他预训练编码器-解码器模型？
主要发现
- 尽管参数数量少于一半，EncT5 在 GLUE 基准上的表现与完整 T5 模型相当。
- 仅编码器的适配在包括分类与回归在内的多样化 NLP 任务中均保持了强大的泛化能力。
- 该方法显著降低了微调阶段的模型大小与计算成本，同时保持了任务性能。
- 该方法具有可迁移性，可适用于任何预训练的编码器-解码器模型，且仅需极少修改。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。