[论文解读] Exploring Universal Intrinsic Task Subspace via Prompt Tuning

Yujia Qin, Xiaozhi Wang+11 more|arXiv (Cornell University)|Oct 15, 2021

Topic Modeling被引用 7

一句话总结

本文提出内在提示微调（IPT），一种通过自编码分解软提示来识别跨多样化自然语言处理任务共享的通用、低维内在任务子空间的方法。通过仅微调该250维子空间中的250个参数，IPT在已见任务上恢复了全提示微调97%的性能，在未见任务上恢复了83%的性能，展示了强大的泛化能力，并解释了预训练语言模型的通用性。

ABSTRACT

Why can pre-trained language models (PLMs) learn universal representations and effectively adapt to broad NLP tasks differing a lot superficially? In this work, we empirically find evidence indicating that the adaptations of PLMs to various few-shot tasks can be reparameterized as optimizing only a few free parameters in a unified low-dimensional intrinsic task subspace, which may help us understand why PLMs could easily adapt to various NLP tasks with small-scale data. To find such a subspace and examine its universality, we propose an analysis pipeline called intrinsic prompt tuning (IPT). Specifically, we resort to the recent success of prompt tuning and decompose the soft prompts of multiple NLP tasks into the same low-dimensional nonlinear subspace, then we learn to adapt the PLM to unseen data or tasks by only tuning parameters in this subspace. In the experiments, we study diverse few-shot NLP tasks and surprisingly find that in a 250-dimensional subspace found with 100 tasks, by only tuning 250 free parameters, we can recover 97% and 83% of the full prompt tuning performance for 100 seen tasks (using different training data) and 20 unseen tasks, respectively, showing great generalization ability of the found intrinsic task subspace. Besides being an analysis tool, IPT could further help us improve the prompt tuning stability.

研究动机与目标

• 探究预训练语言模型（PLMs）是否通过共享的低维内在任务子空间适应多样化自然语言处理任务。
• 解释PLMs在少样本学习设置下的通用性与数据效率。
• 开发一种方法，通过将优化限制在统一的低维子空间内，实现在参数效率下的适应。
• 通过子空间分析提升提示微调的稳定性，并提供对任务差异的洞察。

提出的方法

• IPT包含两个阶段：多任务子空间发现（MSF）和内在子空间微调（IST）。
• 在MSF中，使用自编码器架构将来自100个多样化自然语言处理任务的软提示投影到低维非线性子空间。
• 自编码器通过最小化原始提示与投影后提示之间的重建损失，学习内在任务子空间的共享基。
• 在IST中，通过仅微调固定子空间中的低维参数来将PLM适配到新任务，同时将结果反投影到完整参数空间。
• 该方法利用提示微调作为全微调的参数高效替代方案，实现可扩展的子空间学习。
• 通过少量多样化的少样本任务学习内在任务子空间，确保数据规模均衡且具备泛化能力。

实验结果

研究问题

• RQ1 是否存在一个通用的、低维的内在任务子空间，能够捕捉PLMs在多样化自然语言处理任务中的适应特征？
• RQ2 该内在子空间是否能在未见任务上实现最小性能下降的泛化？
• RQ3 子空间的维度如何影响少样本学习中的性能与数据效率？
• RQ4 内在子空间是否能提升提示微调的稳定性，并提供对任务差异的洞察？
• RQ5 训练任务数量与数据规模对所学习子空间的质量与泛化能力有何影响？

主要发现

• 在从100个任务中学习到的250维内在任务子空间中，IPT使用不同训练数据在100个已见任务上恢复了全提示微调97%的性能。
• 对于20个未见任务，IPT实现了全提示微调83%的性能，展示了强大的零样本泛化能力。
• 该内在任务子空间极为高效，因为它将多样化自然语言处理任务的适应压缩到低维参数空间。
• 该方法提升了提示微调的稳定性，表明在受限且共享的子空间中优化可降低训练方差。
• 子空间质量对训练任务数量与数据规模的变化具有鲁棒性，且随着更多样化的任务，性能持续提升。
• 分析表明，内在子空间捕捉到了任务之间的共享表征结构，为理解任务间的相似性与差异性提供了洞察。