[论文解读] Black-Box Tuning for Language-Model-as-a-Service

Tianxiang Sun, Yunfan Shao+3 more|arXiv (Cornell University)|Jan 10, 2022

Topic Modeling被引用 56

一句话总结

黑盒调优通过在随机子空间中使用无导数优化来为 LMaaS 优化连续提示，在梯度方法的竞争力甚至优于梯度方法的前提下保持对预训练模型的服务化。

ABSTRACT

Extremely large pre-trained language models (PTMs) such as GPT-3 are usually released as a service. It allows users to design task-specific prompts to query the PTMs through some black-box APIs. In such a scenario, which we call Language-Model-as-a-Service (LMaaS), the gradients of PTMs are usually unavailable. Can we optimize the task prompts by only accessing the model inference APIs? This paper proposes the black-box tuning framework to optimize the continuous prompt prepended to the input text via derivative-free optimization. Instead of optimizing in the original high-dimensional prompt space, which is intractable for traditional derivative-free optimization, we perform optimization in a randomly generated subspace due to the low intrinsic dimensionality of large PTMs. The experimental results show that the black-box tuning with RoBERTa on a few labeled samples not only significantly outperforms manual prompt and GPT-3's in-context learning, but also surpasses the gradient-based counterparts, i.e., prompt tuning and full model tuning.

研究动机与目标

• 将 LMaaS 作为一个梯度不可用且只能通过 API 访问来优化提示的场景进行动机阐述。
• 提出 Black-Box Tuning（BBT）通过在随机嵌入子空间中的无导数优化来优化连续提示。
• 在极少样本设置下展示 BBT 在提示/全模型调优方面可超过人工提示、上下文学习和基于梯度的方法的表现。
• 展示 BBT 相对于基于梯度和基于特征的基线在 LMaaS 的部署和效率方面的优势。

提出的方法

• 将任务表述为一个分类任务，向输入添加一个连续提示 p，并使用输出对数概率的黑盒 PTM API f。
• 通过在低维子空间通过随机投影Az + p0来优化 z，以降低提示空间维数，其中 p0 由随机 token 初始化。
• 使用 CMA-ES 这一无导数优化器进行优化，而不是反向传播。
• 采用交叉熵或铰链损失（或负准确率）作为目标函数以引导优化。
• 在 MNLI 上对提示嵌入 p0 进行预训练以用于句子对任务，或对其他任务使用随机嵌入初始化。
• 在 RoBERTa LARGE 作为骨干网络的前提下，在多个数据集上以少量样本设置进行评估。

实验结果

研究问题

• RQ1 当仅能访问 PTM 推理 API（无梯度）时，连续提示是否能够被有效优化？
• RQ2 在随机的低维子空间中进行无导数优化，是否能够在 LMaaS 设置的标准任务上匹配或超过基于梯度的提示调优和全模型调优？
• RQ3 损失函数（交叉熵、铰链、负准确率）与子空间维数如何影响黑盒提示调优的表现？
• RQ4 相较于基于梯度和基于特征的基线，黑盒调优在部署、训练时间、内存和数据传输方面有何影响？
• RQ5 在 LMaaS 框架中，提示嵌入的预训练在句子对任务上的性能提升程度如何？

主要发现

• BBT 在所评估的任务上往往优于人工提示和上下文学习。
• 在 16-shot 设置下，BBT 在七个任务的平均表现上超越了基于梯度的方法（提示微调、P-Tuning v2）和全模型调优。
• 在少样本情境中，交叉熵和铰链损失比负准确率提供更好的引导。
• 较小的子空间（d 在 100–1000）结合 CMA-ES 可以有效，且最优 d 取决于任务。
• 在 LMaaS 框架中，预训练的提示嵌入可以提升句子对任务的性能。
• BBT 提供部署和效率方面的优势，优化成本与 PTM 大小解耦，且可在服务端托管。