[论文解读] ChatGPT: Beginning of an End of Manual Linguistic Data Annotation? Use Case of Automatic Genre Identification

Taja Kuzman, Igor Mozetič+1 more|arXiv (Cornell University)|Mar 7, 2023

Text Readability and Simplification被引用 66

一句话总结

本文评估零-shot 的 ChatGPT 在自动体裁识别中的表现，并在英语和斯洛文尼亚语上与经过微调的 X-GENRE 模型进行比较，结果显示 ChatGPT 在未见数据上可超越微调模型，并且提示语语言会影响性能。

ABSTRACT

ChatGPT has shown strong capabilities in natural language generation tasks, which naturally leads researchers to explore where its abilities end. In this paper, we examine whether ChatGPT can be used for zero-shot text classification, more specifically, automatic genre identification. We compare ChatGPT with a multilingual XLM-RoBERTa language model that was fine-tuned on datasets, manually annotated with genres. The models are compared on test sets in two languages: English and Slovenian. Results show that ChatGPT outperforms the fine-tuned model when applied to the dataset which was not seen before by either of the models. Even when applied on Slovenian language as an under-resourced language, ChatGPT's performance is no worse than when applied to English. However, if the model is fully prompted in Slovenian, the performance drops significantly, showing the current limitations of ChatGPT usage on smaller languages. The presented results lead us to questioning whether this is the beginning of an end of laborious manual annotation campaigns even for smaller languages, such as Slovenian.

研究动机与目标

• 评估 ChatGPT 在英语和斯洛文尼亚语中自动体裁识别的零-shot 表现。
• 将 ChatGPT 与在多语言体裁数据集上训练的微调 X-GENRE 分类器进行比较。
• 研究提示语言如何影响 ChatGPT 的分类性能。
• 分析 ChatGPT 与 X-GENRE 结果之间的一致性与互补性。
• 讨论对 NLP 研究中人工标注工作的影响与意义。

提出的方法

• 使用 EN-GINCO（英语）和 GINCO（斯洛文尼亚语）数据集，每个包含 100 个测试实例，按 X-GENRE 方案标注。
• 在约 1,700 篇来自 CORE、FTD 和 GINCO 数据集的人工标注文本上对 X-GENRE（XLM-RoBERTa）进行微调并映射到 X-GENRE 标签。
• 在三种情景下对 ChatGPT 进行提示：英文提示配英文文本、英文提示配斯洛文尼亚语文本、斯洛文尼亚语提示配斯洛文尼亚语文本。
• 从输出中提取 ChatGPT 的预测与解释，按 X-GENRE 方案的真实标签进行评估。
• 将微 F1、宏 F1 和准确率与 X-GENRE 进行比较；分析分歧以评估互补优势。

Figure 1: Comparison of differences in correct and incorrect predictions between ChatGPT and X-GENRE.

实验结果

研究问题

• RQ1 在未见数据上，ChatGPT 是否能实现与经微调的多语言分类器相当的零-shot 体裁识别？
• RQ2 当文本为英语与斯洛文尼亚语，以及在不同语言提示下，ChatGPT 的性能有何差异？
• RQ3 提示语言对 ChatGPT 的体裁分类准确性有何影响？
• RQ4 ChatGPT 与 X-GENRE 是否会产生互补的预测，可合并以提升性能？

主要发现

• 当提示为英文且测试集为 EN-GINCO 时，ChatGPT 在英语上优于 X-GENRE（微 F1 0.74，宏 F1 0.66，准确度 0.72，对比 0.67/0.61/0.67）。
• 在斯洛文尼亚语数据（GINCO）上，当提示为斯洛文尼亚语并且文本为斯洛文尼亚语时，X-GENRE 显著优于 ChatGPT（X-GENRE 微 F1 0.91，宏 F1 0.91，准确度 0.91；ChatGPT 为 0.68/0.56/0.68，斯洛文尼亚语提示）。
• 当提示为英文时，ChatGPT 对斯洛文尼亚语文本的性能与英语相当，尽管斯洛文尼亚语资源不足；当提示为斯洛文尼亚语时，性能下降。
• ChatGPT 的预测在很大程度上与 X-GENRE 互补，主要错误类型不同，表明在特定用例中存在潜在的集成提升。