[论文解读] AI on AI: Exploring the Utility of GPT as an Expert Annotator of AI Publications

Autumn Toney-Wails, Christian Schoeberl+1 more|arXiv (Cornell University)|Mar 14, 2024

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文评估了将 GPT 模型作为专家标注者对人工智能研究出版物进行分类的性能，通过提示工程实现 94% 的准确率——与微调后的 SPECTER 模型（96% 准确率）相当——并证明使用 GPT 标注的数据可训练出下游分类器，其性能比原始基于 arXiv 训练的模型高出 9 个百分点，达到 82% 的准确率。

ABSTRACT

Identifying scientific publications that are within a dynamic field of research often requires costly annotation by subject-matter experts. Resources like widely-accepted classification criteria or field taxonomies are unavailable for a domain like artificial intelligence (AI), which spans emerging topics and technologies. We address these challenges by inferring a functional definition of AI research from existing expert labels, and then evaluating state-of-the-art chatbot models on the task of expert data annotation. Using the arXiv publication database as ground-truth, we experiment with prompt engineering for GPT chatbot models to identify an alternative, automated expert annotation pipeline that assigns AI labels with 94% accuracy. For comparison, we fine-tune SPECTER, a transformer language model pre-trained on scientific publications, that achieves 96% accuracy (only 2% higher than GPT) on classifying AI publications. Our results indicate that with effective prompt engineering, chatbots can be used as reliable data annotators even where subject-area expertise is required. To evaluate the utility of chatbot-annotated datasets on downstream classification tasks, we train a new classifier on GPT-labeled data and compare its performance to the arXiv-trained model. The classifier trained on GPT-labeled data outperforms the arXiv-trained model by nine percentage points, achieving 82% accuracy.

研究动机与目标

• 为解决在缺乏标准化定义或分类体系的快速演变领域中识别人工智能研究的挑战。
• 评估像 GPT 这类大语言模型是否可作为科学出版物分类的可靠、自动化专家标注者。
• 开发一种提示工程框架，以提升 GPT 在特定领域任务中的标注一致性和准确性。
• 评估使用 GPT 标注数据作为下游分类模型训练数据的效用，与专家标注基线进行比较。
• 探索利用 arXiv 上众包专家标签作为功能性强、时间相关的 AI 研究分类真实标签的可行性。

提出的方法

• 利用 arXiv 上作者分配的主题类别构建真实标签数据集 AI-arXiv，以识别人工智能出版物。
• 在 AI-arXiv 上微调 SPECTER 模型（一种在科学文本上预训练的 Transformer 模型），创建高准确率基线分类器（准确率达 96%）。
• 设计零样本提示，通过角色设定（读者、研究人员、领域专家）引导 GPT-3.5-Turbo 和 GPT-4 对人工智能出版物进行标注。
• 在提示中加入清晰度和不确定性条款，以提升推理能力并减少幻觉，增强一致性。
• 使用 GPT 标注的标签生成新数据集 AI-GPT，用于训练独立分类器，以与 AI-arXiv 基线进行比较。
• 在来自 top 13 个人工智能会议的保留测试集上评估模型性能，以衡量泛化能力和准确率。

实验结果

研究问题

• RQ1 仅通过提示工程，GPT 模型是否能在不进行微调的情况下实现对人工智能研究出版物的高准确率标注？
• RQ2 在使用相同真实标签数据集的情况下，GPT 模型在分类人工智能出版物方面的性能与微调后的 SPECTER 模型相比如何？
• RQ3 系统提示中角色设定（如研究人员 vs. 领域专家）是否显著影响 GPT 的标注准确率？
• RQ4 是否可以有效利用 GPT 标注的数据训练下游分类器，使其泛化能力优于使用专家标注数据训练的模型？
• RQ5 在边缘情况中，GPT 模型在分类人工智能出版物时，其依赖记忆还是推理的程度如何？

主要发现

• GPT-3.5-Turbo 和 GPT-4 在零样本分类人工智能出版物方面均达到 94% 的准确率，与微调后的 SPECTER 基线（96% 准确率）非常接近。
• 基于 GPT 标注数据训练的 AI-GPT 分类器，在顶会出版物测试集上达到 82% 的准确率，比 AI-arXiv 分类器高出 9 个百分点。
• 包含清晰度和不确定性条款的提示工程显著提升了 GPT-3.5-Turbo 的性能，使其在成本更低的情况下达到与 GPT-4 相当的水平。
• GPT-4 对正确标注非人工智能出版物的中位置信度概率为 0.95，表明响应概率与内部置信度之间可能存在错位。
• GPT 模型在开源人工智能出版物上的准确率更高，表明其可能更倾向于记忆训练数据中的模式而非进行通用推理。
• 本研究证明，大语言模型可作为缺乏正式分类体系的科学文献分类领域的可扩展、可靠的标注者。