[论文解读] Learning a Better Initialization for Soft Prompts via Meta-Learning

Yukun Huang, Kun Qian+1 more|arXiv (Cornell University)|May 25, 2022

Topic Modeling被引用 5

一句话总结

本文提出 MetaPT，一种元学习框架，通过将预训练数据聚类为元任务以发现潜在结构，从而改进少样本提示微调中的软提示初始化。通过在这些聚类上使用与模型无关的元学习（MAML）对提示进行预训练，MetaPT 在七项下游 NLP 任务的少样本设置下，性能优于当前最先进方法（包括 PPT），表现更优且更稳定。

ABSTRACT

Prompt tuning (PT) is an effective approach to adapting pre-trained language models to downstream tasks. Without a good initialization, prompt tuning doesn't perform well under few-shot settings. So pre-trained prompt tuning (PPT) is proposed to initialize prompts by leveraging pre-training data. We propose MetaPT (Meta-learned Prompt Tuning) to further improve PPT's initialization by considering latent structure within the pre-training data. Specifically, we introduce the structure by first clustering pre-training data into different auxiliary tasks with unsupervised methods. Then we use these tasks to pre-train prompts with a meta-learning algorithm. Such a process can make prompts learn a better initialization by discovering commonalities among these auxiliary tasks. We evaluate our method on seven downstream tasks. Our MetaPT achieves better and more stable performance than the state-of-the-art method.

研究动机与目标

• 为解决由于软提示初始化不佳导致的提示微调在少样本设置下表现欠佳的问题。
• 通过利用预训练数据中的潜在结构而非将数据点视为均匀处理，改进预训练提示微调（PPT）。
• 开发一种方法，利用无监督聚类和元学习，学习更具泛化性和可迁移性的软提示初始化。
• 在少样本场景下，评估所提方法在多样化下游 NLP 任务中的有效性和稳定性。

提出的方法

• 使用句子编码器（Sentence-BERT）生成的句子嵌入和 K-means 聚类，将预训练数据聚类为辅助元任务。
• 将所得聚类作为不同的元学习任务，通过模型无关元学习（MAML）对软提示进行预训练。
• 利用聚类之间的共享结构，促使软提示学习可泛化的特征，而非特定任务的噪声。
• 在下游任务中直接应用预训练的软提示，无需进一步微调，从而实现在少样本设置下的快速且稳定的适应。
• 在七项下游 NLP 任务的少样本条件下评估性能，与 PPT 和全量微调进行比较。

实验结果

研究问题

• RQ1 从基于预训练数据派生的结构化元任务中学习，能否改善少样本提示微调中的软提示初始化？
• RQ2 聚类方法的选择（如 K-means、LDA、随机、基于标签的聚类）如何影响元学习提示的性能？
• RQ3 元学习的最优聚类数量是多少？其对性能和收敛性有何影响？
• RQ4 达到良好性能所需的预训练数据量有多大？

主要发现

• 在少样本设置下，MetaPT 在 SST-5 上比 PPT 提高 3.35% 的准确率，达到 46.24% 的准确率（使用 K-means 聚类）。
• K-means 聚类表现最佳（46.24 ± 0.42），显著优于 LDA（44.10 ± 0.83）、随机聚类（42.95 ± 1.05）和基于标签的聚类（42.84 ± 0.76）。
• 性能在 10,000 个预训练样本后趋于平稳，表明在此之后增加数据量不会显著提升结果。
• 聚类数量对性能影响显著，最优结果出现在 K=10，且当 K>20 后性能趋于稳定。
• t-SNE 可视化结果表明，K-means 聚类能将语义相似的句子有效聚在一起，验证了所生成元任务的语义结构合理性。