[论文解读] Large Language Models as Annotators: Enhancing Generalization of NLP Models at Minimal Cost

Parikshit Bansal, Amit Sharma|arXiv (Cornell University)|Jun 27, 2023

Topic Modeling被引用 5

一句话总结

本文提出了一种新颖的主动学习策略，利用大语言模型（LLMs）标注最具信息量的未标注输入，以极低的标注成本提升自然语言处理（NLP）模型的泛化能力。通过测量基础模型与微调后NLP模型之间预测分数的偏差（称为“条件信息量”），该方法选择那些可能被错误预测的输入，从而在语义相似性和语义搜索任务中，显著提升模型在域内及低资源目标领域的准确率。

ABSTRACT

State-of-the-art supervised NLP models achieve high accuracy but are also susceptible to failures on inputs from low-data regimes, such as domains that are not represented in training data. As an approximation to collecting ground-truth labels for the specific domain, we study the use of large language models (LLMs) for annotating inputs and improving the generalization of NLP models. Specifically, given a budget for LLM annotations, we present an algorithm for sampling the most informative inputs to annotate and retrain the NLP model. We find that popular active learning strategies such as uncertainty-based sampling do not work well. Instead, we propose a sampling strategy based on the difference in prediction scores between the base model and the finetuned NLP model, utilizing the fact that most NLP models are finetuned from a base model. Experiments with classification (semantic similarity) and ranking (semantic search) tasks show that our sampling strategy leads to significant gains in accuracy for both the training and target domains.

研究动机与目标

• 为解决监督式NLP模型在低资源场景（如未见领域或罕见语义模式）下泛化能力差的问题。
• 通过利用LLM作为高效标注者，降低人工数据标注的高昂成本。
• 在不依赖传统主动学习策略（如不确定性采样）的前提下，利用LLM标注数据提升模型泛化能力。
• 开发一种实用且可扩展的方法，基于模型预测分数的偏差，选择最适合LLM标注的最具信息量的输入。

提出的方法

• 提出一种新的采样度量方法，称为“条件信息量”，用于量化基础模型（如BERT）与微调后NLP模型之间预测分数的偏差。
• 在固定LLM查询预算下，选择条件信息量最高的输入进行LLM标注。
• 利用LLM标注的数据重新训练微调后的NLP模型，从而在训练域和目标域上均提升性能。
• 采用两阶段流程：首先计算未标注输入中分数偏差；其次，选择前k个输入进行LLM标注。
• 利用微调模型通常源自基础模型的事实，通过比较分数偏差识别出最具影响力的样本。
• 使用目标域上的精确率@1（P@1）评估性能，并与基础模型、微调模型及随机采样基线进行对比。

Figure 1: Enhanced Generalization using LLM Annotations. Illustration of our algorithm using the duplicate question detection task. We propose a sampling strategy based on deviation of an NLP model’s similarity score from the base model, called (base model) -conditional informativeness. Inputs are s

实验结果

研究问题

• RQ1 基于LLM的标注是否能显著提升NLP模型在低资源场景下的泛化能力？
• RQ2 当使用LLM标注而非人工标注时，基于不确定性的主动学习方法是否依然有效？
• RQ3 基于基础模型与微调模型之间分数偏差的度量方法，是否能在LLM标注设置中优于基于不确定性的采样？
• RQ4 LLM标注模型在目标域上的性能与人工标注基线相比如何？
• RQ5 LLM标注在哪些领域能带来可测量的性能提升，而在哪些情况下可能无效？

主要发现

• 条件信息量优于基于不确定性的采样方法，在相同LLM标注数量下实现了更高的准确率增益。
• 在Quora数据集上，LLM标注模型在Wikipedia的USA目标领域实现了9.57的P@1，优于仅使用训练集的基线模型（12.33）和微调模型（12.54）。
• 在Amazon的Books领域，该方法通过LLM标注实现了9.48的P@1，显著优于基线模型（16.78）和微调模型（17.37）。
• 在Amazon的Kitchen领域，LLM标注未带来性能提升，基线模型达到32.91的P@1，与使用LLM数据微调后的模型性能相当，表明该方法具有领域依赖性。
• 最优采样阈值为按条件信息量排序的前40%输入，该设置在总准确率与目标域准确率之间实现了良好平衡。
• LLM标注带来的性能增益高于随机采样，尤其在需要世界知识而非仅词法模式的领域（如图书推荐）中表现更优。

(a) LLM-annotated