[论文解读] Embroid: Unsupervised Prediction Smoothing Can Improve Few-Shot Classification

Neel Guha, Mayee F. Chen+4 more|arXiv (Cornell University)|Jul 20, 2023

Topic Modeling被引用 4

一句话总结

该论文提出Embroid，一种弱监督方法，通过利用未标记数据优化语言模型预测，提升少样本文本分类性能。该方法在多个嵌入空间中利用k近邻的预测一致性，通过潜在变量模型整合这些一致性信号，纠正错误预测——在GPT-JT上平均F1提升7.3点，并使1.3B参数模型超越6.7B指令微调模型。

ABSTRACT

Recent work has shown that language models' (LMs) prompt-based learning capabilities make them well suited for automating data labeling in domains where manual annotation is expensive. The challenge is that while writing an initial prompt is cheap, improving a prompt is costly -- practitioners often require significant labeled data in order to evaluate the impact of prompt modifications. Our work asks whether it is possible to improve prompt-based learning without additional labeled data. We approach this problem by attempting to modify the predictions of a prompt, rather than the prompt itself. Our intuition is that accurate predictions should also be consistent: samples which are similar under some feature representation should receive the same prompt prediction. We propose Embroid, a method which computes multiple representations of a dataset under different embedding functions, and uses the consistency between the LM predictions for neighboring samples to identify mispredictions. Embroid then uses these neighborhoods to create additional predictions for each sample, and combines these predictions with a simple latent variable graphical model in order to generate a final corrected prediction. In addition to providing a theoretical analysis of Embroid, we conduct a rigorous empirical evaluation across six different LMs and up to 95 different tasks. We find that (1) Embroid substantially improves performance over original prompts (e.g., by an average of 7.3 points on GPT-JT), (2) also realizes improvements for more sophisticated prompting strategies (e.g., chain-of-thought), and (3) can be specialized to domains like law through the embedding functions.

研究动机与目标

• 通过在无标注数据下改进预测，解决低资源NLP任务中人工提示调优的高成本问题。
• 开发一种提示修补方法，仅利用未标记数据和弱监督纠正错误预测。
• 确保方法具备理论可解释性，速度快，且鲁棒，避免性能下降。
• 在多种模型、任务和提示策略（包括思维链和法律等专业领域）上评估该方法。

提出的方法

• Embroid使用N种不同的嵌入函数为每个样本计算k近邻，以识别语义相似样本。
• 在每个嵌入空间中，对邻近样本的语言模型预测进行缩放修正的多数投票，生成平滑的邻域投票。
• 通过一种基于快速矩量估计器的潜在变量图模型，将原始语言模型预测与N个平滑投票结果相结合。
• 采用阈值策略，根据邻域投票平均值是否超过该源的全局均值，将投票设为±1。
• 通过在多个嵌入空间中聚合信号，减少对任一不完美表示的依赖，从而增强鲁棒性。
• 该框架兼容多种提示策略，包括思维链和少样本提示，并可适配领域特定嵌入。

Figure 1 : The Embroid method for prompt-patching.

实验结果

研究问题

• RQ1 通过邻域一致性进行预测平滑是否能在无标注数据下提升少样本分类性能？
• RQ2 Embroid的性能在多大程度上依赖于嵌入函数的质量和基础提示的准确率？
• RQ3 Embroid是否能在多种语言模型和提示策略（包括思维链和高级提示技术）上实现性能提升？
• RQ4 使用领域特定嵌入时，Embroid能否有效应用于法律等专业领域？
• RQ5 与现有弱监督方法（如AMA）相比，Embroid在性能和鲁棒性方面表现如何？

主要发现

• 在GPT-JT的95项任务上，Embroid平均提升F1 7.3点，即使在小型模型上也观察到性能增益。
• 该方法使1.3B参数模型超越6.7B指令微调模型，展现出显著的效率优势。
• Embroid在GPT-3.5上平均每个任务提升4.9 F1点，且性能退化风险极低。
• 该方法在六种不同语言模型（包括GPT-3.5、J1-Jumbo、OPT、Bloom和GPT-JT）上均实现一致性能提升。
• Embroid与高级提示策略具有互补性，在思维链、AMA和选择性标注提示中应用时均能提升性能。
• 该方法对超参数选择不敏感，当τ⁺ᵢ = τ⁻ᵢ = E[λᵢ]时，无需调优即可达到近似最优性能。