[论文解读] Automated Annotation with Generative AI Requires Validation

Nicholas Pangakis, Samuel Wolken+1 more|arXiv (Cornell University)|May 31, 2023

Computational and Text Analysis Methods被引用 34

一句话总结

本文主张用LLMs进行自动标注必须与人工标签进行验证，提出五步工作流，并在27项任务中展示了LLM性能差异，总体结果有前景但对任务的可靠性取决于任务。

ABSTRACT

Generative large language models (LLMs) can be a powerful tool for augmenting text annotation procedures, but their performance varies across annotation tasks due to prompt quality, text data idiosyncrasies, and conceptual difficulty. Because these challenges will persist even as LLM technology improves, we argue that any automated annotation process using an LLM must validate the LLM's performance against labels generated by humans. To this end, we outline a workflow to harness the annotation potential of LLMs in a principled, efficient way. Using GPT-4, we validate this approach by replicating 27 annotation tasks across 11 datasets from recent social science articles in high-impact journals. We find that LLM performance for text annotation is promising but highly contingent on both the dataset and the type of annotation task, which reinforces the necessity to validate on a task-by-task basis. We make available easy-to-use software designed to implement our workflow and streamline the deployment of LLMs for automated annotation.

研究动机与目标

• 证明基于LLM的标注需要针对具体任务与专家人类标签进行验证。
• 开发一个有原则、高效的工作流，以在强调人工判断的同时，用LLMs增强文本标注。
• 在多样化的、非公开的社会科学数据集上评估LLM的性能，以识别用例与局限性。
• 提供开源软件来实现该工作流并衡量标注一致性。

提出的方法

• 提出一个带有任务特定编码本的LLM增强标注的五步工作流。
• 让两名主题专家和一个LLM在同一编码本下对共享的数据子集进行标注。
• 在保留样本上将性能（准确率、精确度、召回率、F1）与人类标签进行对比测量。
• 以人为环路的方式迭代更新编码本，以解决错误分类。
• 在剩余的人工标注样本上测试LLM的性能，以确定自动标注的可行性。

Figure 2: Precision and recall for each of 27 replicated classification tasks. Color reflects dataset, such that points sharing the same color are conducted on the same text data.

实验结果

研究问题

• RQ1 在经专家标签验证的前提下，LLMs是否能在多样化的社会科学任务中实现可靠的文本标注？
• RQ2 编码本（提示）的改进如何影响LLM分类性能？
• RQ3 在任务表现具有变异的情况下，将LLMs整合进标注工作流有哪些实际应用场景？
• RQ4 哪些指标和概念（一致性分数）有助于识别边界案例并确保质量？

主要发现

• LLM标注在27项任务中的中位F1为0.707，但性能高度依赖于具体任务。
• 27项任务中有9项的精确度或召回率低于0.5，表明存在大量边界情况且结果不具泛化性。
• 一致性分数与准确率和真正阳性/阴性率相关，有助于识别困难样本。
• 编码本更新带来温和的改进；仅提示工程并非提升性能的强力杠杆。
• 四个用例使根据性能和资源约束灵活整合LLMs成为可能。
• 该工作流及随附的开源工具简化了在有人在环验证下实现LLM增强标注的过程。

Figure 3: Relationship between consistency score and accuracy, TPR, and TNR.