[论文解读] InfoPrompt: Information-Theoretic Soft Prompt Tuning for Natural Language Understanding

Junda Wu, Tong Yu+7 more|arXiv (Cornell University)|Jun 8, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

InfoPrompt 提出了一种信息论框架用于软提示微调，通过最大化提示与模型参数或表征之间的互信息，利用两种新颖的基于互信息的损失函数来改进提示初始化和表征感知能力。这使得在少样本 NLP 任务中，相比传统提示微调方法，收敛速度更快，性能更优。

ABSTRACT

Soft prompt tuning achieves superior performances across a wide range of few-shot tasks. However, the performances of prompt tuning can be highly sensitive to the initialization of the prompts. We also empirically observe that conventional prompt tuning methods cannot encode and learn sufficient task-relevant information from prompt tokens. In this work, we develop an information-theoretic framework that formulates soft prompt tuning as maximizing mutual information between prompts and other model parameters (or encoded representations). This novel view helps us to develop a more efficient, accurate and robust soft prompt tuning method InfoPrompt. With this framework, we develop two novel mutual information based loss functions, to (i) discover proper prompt initialization for the downstream tasks and learn sufficient task-relevant information from prompt tokens and (ii) encourage the output representation from the pretrained language model to be more aware of the task-relevant information captured in the learnt prompt. Extensive experiments validate that InfoPrompt can significantly accelerate the convergence of the prompt tuning and outperform traditional prompt tuning methods. Finally, we provide a formal theoretical result for showing to show that gradient descent type algorithm can be used to train our mutual information loss.

研究动机与目标

• 解决软提示微调对初始化的敏感性及其从提示标记中学习任务相关知识能力有限的问题。
• 构建一个统一的信息论框架，将提示微调形式化为提示与模型组件之间互信息最大化的问题。
• 设计两种新颖的损失函数，以指导提示初始化并增强对任务相关知识的表征感知能力。
• 为基于梯度下降优化所提出的互信息损失提供理论收敛保证。

提出的方法

• 将软提示微调形式化为最大化提示标记与语言模型头之间互信息，以改善任务相关知识的编码。
• 引入一种头损失，通过最大化提示与语言模型头之间的互信息，实现更优的早期阶段提示学习。
• 设计一种表征损失，通过在输入上下文条件下最大化提示与编码表征之间的条件互信息。
• 使用标准梯度下降优化两种损失，并通过 Hessian 分析和利普希茨界提供收敛性的理论支持。
• 采用近似牛顿方法结合 Hessian 近似以加速训练，利用矩阵稀疏性并实现亚对数时间复杂度。
• 将交叉熵损失整合到整体目标中，以保持与标准分类设置的兼容性。

实验结果

研究问题

• RQ1 互信息最大化能否改善提示初始化并降低软提示微调对随机初始化的敏感性？
• RQ2 当通过互信息目标进行优化时，提示标记能否有效编码任务相关知识？
• RQ3 最大化提示与表征之间的条件互信息是否能提升下游任务性能？
• RQ4 基于梯度的互信息损失优化能否在理论上保证收敛？

主要发现

• 与传统方法相比，InfoPrompt 显著加快了提示微调的收敛速度，尤其在低样本设置下表现更优。
• 所提出的基于互信息的损失函数使提示与表征之间的条件互信息（CMI）高于手工设计或标准学习的提示。
• 在 MRPC 和 SST-2 数据集上，InfoPrompt 超过现有软提示微调基线模型，准确率更高且更具鲁棒性。
• 理论分析证实，可在有界 Hessian 和利普希茨条件约束下，使用梯度下降训练互信息损失，并提供收敛保证。
• 该方法收敛速度优于标准提示微调，后者通常需要更多训练轮次才能收敛。
• 实证结果表明，与随机或 WARP 学习的提示相比，InfoPrompt 的提示标记编码了更多任务相关知识，其 CMI 测量值更高。