[论文解读] Exploring Low-dimensional Intrinsic Task Subspace via Prompt Tuning.

Yujia Qin, Xiaozhi Wang+9 more|arXiv (Cornell University)|Oct 15, 2021

Topic Modeling参考文献 31被引用 22

一句话总结

本文提出内在提示微调（IPT），一种通过将优化限制在低维共享内在任务子空间中，对预训练语言模型（PLMs）的提示微调进行重参数化的技术。通过在从100项任务中学习到的5维子空间中仅微调5个参数，IPT在已见任务和未见任务上分别实现了全量提示微调性能的87%和65%，展现出强大的泛化能力与改进的稳定性。

ABSTRACT

How can pre-trained language models (PLMs) learn universal representations and effectively adapt to broad NLP tasks differing a lot superficially? In this work, we empirically find evidences indicating that the adaptations of PLMs to various tasks can be reparameterized as optimizing only a few free parameters in a common low-dimensional intrinsic task subspace, which may help us understand why PLMs could easily adapt to various NLP tasks with small-scale data. Specifically, to find such a subspace and examine its universality, we resort to the recent success of prompt tuning and decompose the soft prompts of multiple NLP tasks into the same low-dimensional nonlinear subspace, then we learn to adapt the PLM to unseen tasks or data by only tuning parameters in the subspace. We dub this pipeline as intrinsic prompt tuning (IPT). In experiments, we study diverse few-shot NLP tasks and surprisingly find that in a 5-dimensional subspace found with 100 random tasks, by only tuning 5 free parameters, we can recover 87% and 65% of the full prompt tuning performance for 100 seen tasks (using different training data) and 20 unseen tasks, respectively, showing great generalization ability of the found intrinsic task subspace. Besides being an analysis tool, IPT could further bring practical benefits, such as improving the prompt tuning stability.

研究动机与目标

• 理解预训练语言模型（PLMs）为何能通过极少微调便在多样化自然语言处理任务上实现良好泛化。
• 探究不同任务的 PLM 适应是否可统一为一个共同的低维子空间。
• 开发一种方法，通过仅在共享子空间中优化少数参数，实现在未见任务上的有效少样本适应。
• 通过在共享内在任务子空间中进行参数重参数化，提升提示微调的稳定性和效率。

提出的方法

• 使用提示微调将来自100项多样化自然语言处理任务的软提示分解为共享的低维非线性子空间。
• 从一组多样化任务中学习内在任务子空间的共享基底，以捕捉通用的适应模式。
• 通过仅在学习到的子空间内优化低维参数，而非完整的软提示向量，来执行提示微调。
• 利用相同的子空间适应已见和未见任务，实现零样本或少样本泛化。
• 应用内在提示微调（IPT）流程，在多样化少样本自然语言处理任务上评估泛化性和稳定性。
• 利用子空间结构降低优化复杂度，并提升提示微调的收敛稳定性。

实验结果

研究问题

• RQ1 预训练语言模型对多样化自然语言处理任务的适应是否可重参数化为一个低维内在任务子空间？
• RQ2 一个单一的、共享的低维子空间在仅使用少样本数据的情况下，对未见自然语言处理任务的泛化能力如何？
• RQ3 仅在内在子空间中微调少数参数，能在多大程度上恢复全量提示微调的性能？
• RQ4 将优化限制在内在子空间是否能提升提示微调的稳定性？

主要发现

• 从100项多样化自然语言处理任务中学习到的5维内在任务子空间，能够有效适应已见和未见任务。
• 通过在内在子空间中仅微调5个参数，IPT 在100个已见任务上恢复了全量提示微调87%的性能。
• 在20个未见任务上，IPT 达到了全量提示微调65%的性能，展现出强大的泛化能力。
• 内在任务子空间显著提升了提示微调的稳定性，降低了优化方差。
• 该方法揭示了 PLM 对多样化任务的适应本质上被限制在一个低维、通用的子空间中。
• 该子空间捕捉到了跨任务的通用适应模式，表明 PLM 微调中存在共享的归纳偏置。