[论文解读] Can ChatGPT Reproduce Human-Generated Labels? A Study of Social Computing Tasks

Yiming Zhu, Peixian Zhang+3 more|arXiv (Cornell University)|Apr 20, 2023

Topic Modeling被引用 65

一句话总结

ChatGPT 能在五个社会计算任务中重现人类生成的注释，平均准确率为 0.609，尽管不同任务和标签的表现差异显著。

ABSTRACT

The release of ChatGPT has uncovered a range of possibilities whereby large language models (LLMs) can substitute human intelligence. In this paper, we seek to understand whether ChatGPT has the potential to reproduce human-generated label annotations in social computing tasks. Such an achievement could significantly reduce the cost and complexity of social computing research. As such, we use ChatGPT to relabel five seminal datasets covering stance detection (2x), sentiment analysis, hate speech, and bot detection. Our results highlight that ChatGPT does have the potential to handle these data annotation tasks, although a number of challenges remain. ChatGPT obtains an average accuracy 0.609. Performance is highest for the sentiment analysis dataset, with ChatGPT correctly annotating 64.9% of tweets. Yet, we show that performance varies substantially across individual labels. We believe this work can open up new lines of analysis and act as a basis for future research into the exploitation of ChatGPT for human annotation tasks.

研究动机与目标

• 评估 ChatGPT 是否能够在社会计算任务中重现人类生成的注释。
• 在多个数据集上将 ChatGPT 生成的标签与真实的人类注释进行比较。
• 分析按任务和按标签的性能，以识别在数据标注中使用 ChatGPT 的优点与局限。
• 提供洞见以指导未来在人工注释与众包情境中使用大型语言模型（LLMs）的应用。

提出的方法

• 选择五个英文、人类注注释的 Twitter 数据集，涵盖立场、仇恨言论、情感、机器人检测和 Russo-Ukrainian 情感。
• 使用 OpenAI GPT-3.5-turbo 以提示模板对推文进行注释：给定一个主题和一组标签，对推文进行分类并提供解释。
• 从回应的第一句中提取 ChatGPT 的主要标签，并使用完整文本来推导解释。
• 使用加权 F1-score、精确度和召回率将 ChatGPT 注释与人工真值进行比较。

实验结果

研究问题

• RQ1 ChatGPT 是否能够在多样的社会计算任务中重现人类注释标签？
• RQ2 ChatGPT 的表现如何在任务之间以及在各个单独标签类别之间变化？
• RQ3 将 ChatGPT 作为注释工具在每个标签的精确度和召回率方面的优点与局限性有哪些？

主要发现

• 五个任务的平均注释准确率为 0.609（标准差 0.032）。
• 情感分析在任务中达到最高准确率 0.649，正确标签占比 64.9%。
• 仇恨言论任务总体表现较低，为 0.571，尤其在 Hate 标签上的精确性问题显著（0.353）。
• 机器人检测任务的准确性为 0.639，但标签间存在较大差距（Human 0.748 F1 vs Bot 0.364 F1）。
• Russo-Ukrainian 情感显示为最低任务表现，0.573，Pro-Russia 与 Pro-Ukraine 标签差异显著（0.733 vs 0.429 F1）。
• ChatGPT 的标签性能在任务内的单个标签之间差异很大，表明在统一注释质量方面存在局限。