[论文解读] Can GPT-4 Support Analysis of Textual Data in Tasks Requiring Highly Specialized Domain Expertise?

Jaromír Šavelka, Kevin D. Ashley+3 more|arXiv (Cornell University)|Jun 24, 2023

Topic Modeling参考文献 38被引用 11

一句话总结

GPT-4，在注释指南提示下，在法律句子分析方面的表现与训练良好的法学院学生注释者相当，能够进行批量预测且成本更低，尽管链式思考提示收益有限且模型易出错。

ABSTRACT

We evaluated the capability of generative pre-trained transformers~(GPT-4) in analysis of textual data in tasks that require highly specialized domain expertise. Specifically, we focused on the task of analyzing court opinions to interpret legal concepts. We found that GPT-4, prompted with annotation guidelines, performs on par with well-trained law student annotators. We observed that, with a relatively minor decrease in performance, GPT-4 can perform batch predictions leading to significant cost reductions. However, employing chain-of-thought prompting did not lead to noticeably improved performance on this task. Further, we demonstrated how to analyze GPT-4's predictions to identify and mitigate deficiencies in annotation guidelines, and subsequently improve the performance of the model. Finally, we observed that the model is quite brittle, as small formatting related changes in the prompt had a high impact on the predictions. These findings can be leveraged by researchers and practitioners who engage in semantic/pragmatic annotations of texts in the context of the tasks requiring highly specialized domain expertise.

研究动机与目标

• 评估 GPT-4 在分析法院意见以解释法律概念的能力，与人工注释者对比。
• 探索批量预测作为单句评估的成本效益替代方案。
• 评估链式思考提示是否在该专门任务中提高准确性。
• 研究注释指南的更改如何影响 GPT-4 的性能与模型鲁棒性。

提出的方法

• 使用基于注释指南的系统提示的 GPT-4，执行句级和批量标注。
• 将 GPT-4 的输出与公开的法院意见和法条解释数据集中的黄金标签进行比较。
• 尝试单标签预测与批量预测，以评估成本与性能的权衡。
• 测试链式思考提示，观察解释是否提高或降低准确性。
• 修改注释指南以识别对 GPT-4 性能的改进并评估对提示变更的鲁棒性。

Figure 1: A mock-up interface with an example statutory provision on the left (1). The user indicated that they are interested in the meaning of the “common business purpose“ phrase as used in the provision (2). The system responds with a list of sentences that are deemed useful for explaining the m

实验结果

研究问题

• RQ1 RQ1: GPT-4 的标注性能与人类注释者在这一专业法律任务上的对比如何？
• RQ2 RQ2: GPT-4 能否在没有显著精度损失的情况下有效地执行批量预测？
• RQ3 RQ3: 要求给出解释（CoT 提示）是否会提高该任务上的预测？
• RQ4 RQ4: 对注释指南的修改如何影响 GPT-4 的性能？
• RQ5 RQ5: 跨实验的小提示变更对 GPT-4 的预测鲁棒性如何？

主要发现

• GPT-4 的整体 F1 在原始指令下对单标签预测为 0.53，与该数据集上的人类法学院学生相当。
• 批量预测的 F1 为 0.52，性能略低于单点预测，但成本显著降低。
• 在原始指南下，带有解释（CoT）的提示并未提高性能，甚至在批量设置中可能降低结果。
• 改进注释指南（提示）将单标签 F1 提升到 0.57，并减少之前观察到的某些错误标注。
• 更新的指南和解释下的批量预测显示出混合结果，一些配置保持性能，而其他配置则降低了性能；对提示变化的鲁棒性仍是问题。
• GPT-4 的预测具有脆弱性：小的提示格式变动就能显著影响结果。

Figure 8: The annotator agreement (Krippendorff’s $\alpha$ ) of the manually created annotations and GPT-4 predictions computed against the consensus (gold) labels. GPT-4 performs comparably to human annotators (law students).