[论文解读] Multiclass Classification of Policy Documents with Large Language Models

Erkan Gunes, Christoffer Florczak|arXiv (Cornell University)|Oct 12, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文评估了 GPT-3.5 和 GPT-4 在将美国国会法案和听证会分类为 21 个比较议程项目（Comparative Agendas Project）政策主题时的多类别分类性能。在三种人类干预程度不同的场景下，准确率范围为 58% 至 83%，其中最高准确率（83%）出现在模型对 65% 的数据达成一致时，从而实现了高效的人机混合编码，支持可扩展、高准确率的政策文本分析。

ABSTRACT

Classifying policy documents into policy issue topics has been a long-time effort in political science and communication disciplines. Efforts to automate text classification processes for social science research purposes have so far achieved remarkable results, but there is still a large room for progress. In this work, we test the prediction performance of an alternative strategy, which requires human involvement much less than full manual coding. We use the GPT 3.5 and GPT 4 models of the OpenAI, which are pre-trained instruction-tuned Large Language Models (LLM), to classify congressional bills and congressional hearings into Comparative Agendas Project's 21 major policy issue topics. We propose three use-case scenarios and estimate overall accuracies ranging from %58-83 depending on scenario and GPT model employed. The three scenarios aims at minimal, moderate, and major human interference, respectively. Overall, our results point towards the insufficiency of complete reliance on GPT with minimal human intervention, an increasing accuracy along with the human effort exerted, and a surprisingly high accuracy achieved in the most humanly demanding use-case. However, the superior use-case achieved the %83 accuracy on the %65 of the data in which the two models agreed, suggesting that a similar approach to ours can be relatively easily implemented and allow for mostly automated coding of a majority of a given dataset. This could free up resources allowing manual human coding of the remaining %35 of the data to achieve an overall higher level of accuracy while reducing costs significantly.

研究动机与目标

• 评估使用指令微调的大语言模型（LLMs），如 GPT-3.5 和 GPT-4，对政策文档进行预定义政策主题分类的可行性与准确性。
• 通过测试零样本、可通过 API 访问的 LLM，降低传统计算文本分析方法的高门槛和数据需求。
• 比较在人类参与程度分别为最低、中等和最高三种使用场景下的性能，以识别最优的人机协作策略。
• 评估 LLM 预测是否可与人工编码可靠结合，以提升政治科学研究中分类的可扩展性与准确性。
• 提供实证证据，比较 LLM 表现与金标准人工编码结果，重点关注文本分类中的可复现性与一致性。

提出的方法

• 设计了三种不同的使用场景：(1) 最少人工输入——纯 LLM 推理；(2) 中等输入——LLM 预测结合人工审查；(3) 最多人工输入——LLM 预测结合迭代式人工校正与验证。
• 使用结构化、基于指令的提示，让 GPT-3.5 Turbo 和 GPT-4 对比较议程项目中的 21 个政策议题主题进行分类。
• 采用标准自然语言处理（NLP）指标评估分类性能：准确率、精确率、召回率与 F1 分数，报告宏平均与加权平均结果。
• 分析模型一致性，识别出两模型达成一致的数据子集，从而在剩余 35% 的数据上实施针对性的人工验证。
• 以金标准人工编码为基准，按政策主题与总体报告性能结果。
• 对各类别性能与模型一致性进行统计分析，以评估在不同主题上的可靠性与一致性。

实验结果

研究问题

• RQ1 指令微调的大语言模型（如 GPT-3.5 和 GPT-4）在无需微调的情况下，能否在多类别政策文档分类中实现可接受的准确率？
• RQ2 分类流程中人类参与程度的高低如何影响整体准确率与成本效益？
• RQ3 LLM 在各个政策主题上的表现如何？哪些主题分类最准确，哪些最不可靠？
• RQ4 GPT-3.5 和 GPT-4 在分类上的一致性程度如何？是否可利用模型一致性来减少人工工作量？
• RQ5 是否可通过混合方法——即使用 LLM 进行初步分类，仅对不确定案例进行人工编码——在显著减少人工编码工作量的同时实现高准确率？

主要发现

• 在参与度最高的场景（情景 3）中，GPT-4 的整体准确率达到 83%，显著优于参与度较低的场景。
• 在最高人类参与场景中，两模型在 65% 的数据上达成一致，且在该子集上准确率达到 83%，表明高置信度预测具有极强可靠性。
• 在所有场景中，GPT-4 均持续优于 GPT-3.5，F1 分数更高，且在大多数政策主题上召回率更优。
• 分类最准确的主题包括“健康”、“移民”、“能源”和“其他（私人法案）”，其 F1 分数均超过 0.85。
• 而“文化”、“国际事务”和“国防”等主题表现较差，F1 分数接近 0.00 或低于 0.20，表明模型存在持续困难。
• 本研究证明，采用混合方法——即通过高一致性 LLM 预测自动化 65% 的数据，仅对剩余 35% 进行人工编码——可在显著减少人工劳动的同时实现高准确率。