[论文解读] Is GPT-3 a Good Data Annotator?

Bosheng Ding, Chengwei Qin+5 more|arXiv (Cornell University)|Dec 20, 2022

Topic Modeling被引用 15

一句话总结

本文评估了 GPT-3 作为 NLP 任务数据标注工具的性能，比较了三种基于提示的方法——直接标注、基于生成的标注和 few-shot 提示——在序列级和 token 级任务中的表现。研究发现，基于生成的方法在大规模标签空间任务中更具成本效益且更适用，而直接标注在小规模标签空间任务中表现更优，证明了 GPT-3 在资源受限环境下实现低成本、可扩展数据标注的可行性。

ABSTRACT

Data annotation is the process of labeling data that could be used to train machine learning models. Having high-quality annotation is crucial, as it allows the model to learn the relationship between the input data and the desired output. GPT-3, a large-scale language model developed by OpenAI, has demonstrated impressive zero- and few-shot performance on a wide range of NLP tasks. It is therefore natural to wonder whether it can be used to effectively annotate data for NLP tasks. In this paper, we evaluate the performance of GPT-3 as a data annotator by comparing it with traditional data annotation methods and analyzing its output on a range of tasks. Through this analysis, we aim to provide insight into the potential of GPT-3 as a general-purpose data annotator in NLP.

研究动机与目标

• 评估使用 GPT-3 作为 NLP 任务通用数据标注工具的可行性。
• 比较三种基于 GPT-3 的标注方法（直接标注、基于生成的标注、few-shot 提示）在性能、成本和时间效率方面的表现。
• 确定在何种条件下 GPT-3 能够优于传统标注方式，尤其是在资源有限的小型组织或个人场景下。
• 评估 GPT-3 在序列级任务（如文本分类）和 token 级任务（如命名实体识别）中的表现。
• 探究 GPT-3 在多语言标注能力以及领域特定知识保留方面的表现。

提出的方法

• 评估三种标注方法：(1) 使用类别名称进行基于提示的直接标注；(2) 基于生成的提示，由 GPT-3 从输入生成完整标注；(3) 使用种子示例的 few-shot 提示。
• 在多个 NLP 基准上开展实验，包括 SST-2（情感分类）、FewRel（关系分类）和 NER（命名实体识别），涵盖英语和非英语语言。
• 通过估算 API 调用费用和处理时间来衡量成本与时间，手动标注时间不计入计算。
• 提示经过精心设计以最小化歧义并最大化一致性，包括零样本和 few-shot 设置（最多 2 个示例）。
• 研究使用 OpenAI API 中的 GPT-3（instruct-turbo），评估指标包括测试集上的准确率和 F1 分数。
• 开展消融研究和案例研究，分析不同标签空间大小和语言类型下的性能表现。

实验结果

研究问题

• RQ1 GPT-3 是否能够有效替代人工标注者用于 NLP 任务的训练数据生成？
• RQ2 在准确率、成本和时间方面，不同提示策略（直接标注、基于生成的标注、few-shot）的表现如何比较？
• RQ3 GPT-3 在小标签空间任务（如二分类）还是大标签空间任务（如关系分类）中更有效？
• RQ4 GPT-3 在多语言数据标注方面表现如何，特别是在低资源语言中？
• RQ5 GPT-3 所记忆的领域特定知识在多大程度上提升了标注质量？

主要发现

• 在大规模标签空间任务（如 FewRel）中，基于生成的提示方法在零样本设置下实现了 80.15% 的 F1 分数（6000 个样本），优于直接标注方法。
• 在小标签空间任务（如 SST-2）中，直接标注方法表现更优，在零样本设置下达到 87.31% 的准确率（6000 个样本）。
• 基于生成的方法显著更具成本效益，仅需 1.61 美元即可完成 6000 个样本的标注，而直接标注需 6.21 美元，条件相同。
• GPT-3 展现出强大的多语言能力，成功完成中文 NER 和法语文本分类任务，性能与人工标注水平相当。
• GPT-3 展现出对领域特定知识的强记忆能力，体现在对复杂事实关系和地理关系的准确标注中。
• 使用多进程处理（5 个进程）将时间减少最多 50%，在零样本设置下，直接标注 6000 个样本仅需 27 分钟。