[论文解读] Improving Few-Shot Performance of Language Models via Nearest Neighbor Calibration

Feng Nie, Meixi Chen+2 more|arXiv (Cornell University)|Dec 5, 2022

Topic Modeling被引用 9

一句话总结

本文提出了一种最近邻校准框架，通过动态检索并利用缓存的支持实例表征的k-最近邻来校准预测，从而提升预训练语言模型在少样本上下文学习中的表现。该方法通过自适应邻居选择和特征正则化显著降低了对提示设计的敏感性，实现了性能的大幅提升——在单句任务上平均准确率提升了12.8%，在情感分析任务中达到了微调方法的最先进水平。

ABSTRACT

Pre-trained language models (PLMs) have exhibited remarkable few-shot learning capabilities when provided a few examples in a natural language prompt as demonstrations of test instances, i.e., in-context learning. However, the performance of in-context learning is susceptible to the choice of prompt format, training examples and the ordering of the training examples. In this paper, we propose a novel nearest-neighbor calibration framework for in-context learning to ease this issue. It is inspired by a phenomenon that the in-context learning paradigm produces incorrect labels when inferring training instances, which provides a useful supervised signal to calibrate predictions. Thus, our method directly augments the predictions with a $k$-nearest-neighbor ($k$NN) classifier over a datastore of cached few-shot instance representations obtained by PLMs and their corresponding labels. Then adaptive neighbor selection and feature regularization modules are introduced to make full use of a few support instances to reduce the $k$NN retrieval noise. Experiments on various few-shot text classification tasks demonstrate that our method significantly improves in-context learning, while even achieving comparable performance with state-of-the-art tuning-based approaches in some sentiment analysis tasks.

研究动机与目标

• 为解决上下文学习对提示模板、示例顺序和词元选择的高敏感性问题。
• 利用上下文学习在支持实例上预测不一致性的特性，作为校准的监督信号。
• 通过结合基于实例的检索增强预训练语言模型的预测，无需微调即可提升少样本文本分类性能。
• 通过自适应邻居选择和特征正则化，降低k-最近邻检索中的噪声。
• 缩小上下文学习与基于参数微调的方法在少样本设置下的性能差距。

提出的方法

• 该方法在缓存的少样本支持实例及其标签的预训练语言模型表征数据存储中，引入一个k-最近邻（k-NN）分类器，以增强上下文学习的预测结果。
• 采用轻量级的特征正则化模块，分离表征相似但标签不同的样本，从而降低检索噪声。
• 自适应邻居选择模块根据输入的局部表征相似度，动态确定每个输入的最优邻居数量。
• k-NN分类器检索与当前输入最相似的少样本示例，以优化原始预训练语言模型的预测分布。
• 该框架基于BERT和GPT风格的预训练语言模型构建，使用其最终隐藏状态作为实例表征。
• 该方法端到端可微，且无需对基础预训练语言模型进行任何参数更新。

实验结果

研究问题

• RQ1 能否利用上下文学习在支持实例上预测的不一致性作为监督信号，以提升模型校准性能？
• RQ2 如何通过少样本支持实例的k-最近邻检索，提升上下文学习的鲁棒性与准确性？
• RQ3 检索增强方法在少样本文本分类中，能在多大程度上匹配或超越基于微调的方法？
• RQ4 自适应邻居选择与特征正则化在少样本设置下，如何降低k-最近邻检索的噪声？
• RQ5 所提出的方法是否能降低因提示工程选择带来的性能波动？

主要发现

• 所提出的k-NN校准方法在单句文本分类任务上，相较于标准上下文学习，实现了12.8%的绝对平均准确率提升。
• 在SST-2数据集上，准确率从81.2%（ICL）提升至88.3%（KNN-C-ICL），最差情况下的准确率提升达1.8%。
• 在SST-2和SST-5等情感分析任务中，该方法的性能与最先进的微调方法相当。
• 该方法降低了在不同提示配置下的性能标准差，表明对提示设计的敏感性更低。
• 特征正则化模块有效降低了检索噪声，尤其在表征相似但标签冲突的样本中表现显著。
• 自适应邻居选择机制通过根据输入相似度动态调整邻居数量，提升了模型的鲁棒性。