[论文解读] MetaPrompting: Learning to Learn Better Prompts

Yutai Hou, Hongyuan Dong+3 more|arXiv (Cornell University)|Sep 23, 2022

Topic Modeling被引用 13

一句话总结

MetaPrompting 提出了一种元学习框架，可自动学习少样本 NLP 中软提示的通用、任务无关的初始化，显著提升适应速度与准确率。通过利用基于优化的元学习（如 MAML++），该方法实现了最先进性能，在四个数据集上的 1-shot 设置下准确率提升超过 7 个百分点。

ABSTRACT

Prompting method is regarded as one of the crucial progress for few-shot nature language processing. Recent research on prompting moves from discrete tokens based ``hard prompts'' to continuous ``soft prompts'', which employ learnable vectors as pseudo prompt tokens and achieve better performance. Though showing promising prospects, these soft-prompting methods are observed to rely heavily on good initialization to take effect. Unfortunately, obtaining a perfect initialization for soft prompts requires understanding of inner language models working and elaborate design, which is no easy task and has to restart from scratch for each new task. To remedy this, we propose a generalized soft prompting method called MetaPrompting, which adopts the well-recognized model-agnostic meta-learning algorithm to automatically find better prompt initialization that facilitates fast adaptation to new prompting tasks.Extensive experiments show MetaPrompting tackles soft prompt initialization problem and brings significant improvement on four different datasets (over 6 points improvement in accuracy for 1-shot setting), achieving new state-of-the-art performance.

研究动机与目标

• 解决软提示方法在低资源少样本学习中对初始化的敏感性问题。
• 通过学习一种通用初始化，减少对任务特定的手动提示工程需求。
• 提升软提示在多样化下游 NLP 任务中的快速适应能力与鲁棒性。
• 实现在无需从头训练的情况下，将源任务中的可迁移元知识迁移到新目标任务。
• 缓解因不同提示模板或形式导致的真实部署中性能波动。

提出的方法

• 采用模型无关的元学习（如 MAML、Reptile 等），在多个源任务上学习软提示的共享初始化。
• 在元训练循环中，模型在少样本任务分布上进行优化，以找到一种能实现快速适应的参数初始化。
• 在新任务的元测试阶段，将元学习得到的初始化（ϕ_meta）作为软提示向量的起始点。
• 在适应过程中使用基于梯度的优化更新软提示参数，元初始化引导更快收敛。
• 将元学习与连续软提示相结合，使模型能够从多样化源任务中学习，并泛化到未见目标。
• 采用 MAML++ 并结合 MSLB 技巧，以稳定训练并提升性能，优于标准 MAML 和 Reptile 变体。

实验结果

研究问题

• RQ1 元学习能否有效应用于少样本 NLP 中的软提示初始化问题？
• RQ2 与随机或启发式初始化相比，元学习得到的初始化是否能在新少样本 NLP 任务上实现更快、更准确的适应？
• RQ3 MetaPrompting 在不同数据集中提示模板或提示形式变化下的鲁棒性如何？
• RQ4 从源任务中学到的元知识能否在零样本或少样本设置下有效泛化到未见目标任务？
• RQ5 当应用于软提示微调时，不同元学习算法（如 MAML++、Reptile）在性能与稳定性方面如何比较？

主要发现

• 在四个数据集上，MetaPrompting 在 1-shot 设置下相比标准软提示平均准确率提升 7.1 个百分点。
• 在 Amazon 数据集上，MetaPrompting 使用 MAML++ 在 1-shot 学习中达到 71.93% 的准确率，优于基线超过 7 个百分点。
• 该方法显著降低了不同提示模板带来的性能波动，在 1-shot 设置下，HuffPost 数据集上的标准差为 ±0.23（对比基线的 ±3.46）。
• MetaPrompting 在所有评估数据集和少样本设置下，持续优于强基线方法，包括 Reptile 和 FOMAML。
• 元学习初始化在适应过程中实现更快收敛，训练动态显示其适应损失曲线更陡峭且更低。
• MAML++ 搭配 MSLB 技巧表现最佳，而 Reptile 因在微调大语言模型时不稳定而表现较差。