[논문 리뷰] Multiclass Classification of Policy Documents with Large Language Models

Erkan Gunes, Christoffer Florczak|arXiv (Cornell University)|2023. 10. 12.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 GPT-3.5와 GPT-4가 미국 의회 법안 및 청문회를 21개의 비교 의제 프로젝트 정책 주제로 다중 분류하는 성능을 평가한다. 인간의 간섭 수준이 다른 세 가지 시나리오를 통해 분석한 결과 정확도 범위는 58%에서 83%이며, 최고 정확도(83%)는 모델 간 일치율이 데이터의 65%에 달할 경우에 달성되었으며, 이는 스케일러블하고 고정확도의 정책 텍스트 분석을 위한 효율적인 하이브리드 인간-AI 코드화를 가능하게 한다.

ABSTRACT

Classifying policy documents into policy issue topics has been a long-time effort in political science and communication disciplines. Efforts to automate text classification processes for social science research purposes have so far achieved remarkable results, but there is still a large room for progress. In this work, we test the prediction performance of an alternative strategy, which requires human involvement much less than full manual coding. We use the GPT 3.5 and GPT 4 models of the OpenAI, which are pre-trained instruction-tuned Large Language Models (LLM), to classify congressional bills and congressional hearings into Comparative Agendas Project's 21 major policy issue topics. We propose three use-case scenarios and estimate overall accuracies ranging from %58-83 depending on scenario and GPT model employed. The three scenarios aims at minimal, moderate, and major human interference, respectively. Overall, our results point towards the insufficiency of complete reliance on GPT with minimal human intervention, an increasing accuracy along with the human effort exerted, and a surprisingly high accuracy achieved in the most humanly demanding use-case. However, the superior use-case achieved the %83 accuracy on the %65 of the data in which the two models agreed, suggesting that a similar approach to ours can be relatively easily implemented and allow for mostly automated coding of a majority of a given dataset. This could free up resources allowing manual human coding of the remaining %35 of the data to achieve an overall higher level of accuracy while reducing costs significantly.

연구 동기 및 목표

• 지침에 맞춰 튜닝된 대규모 언어 모델(LM)인 GPT-3.5와 GPT-4를 사용하여 정의된 정책 주제로 정책 문서를 분류하는 가능성과 정확도를 평가하는 것.
• 기존의 계산 기반 텍스트 분석의 높은 진입 장벽과 데이터 요구 사항을 해결하기 위해, 제로샷, API 접근 가능한 LLM을 테스트함으로써 접근성을 높이는 것.
• 최소, 중간, 최대 수준의 인간 참여를 포함한 세 가지 사용 사례 시나리오를 비교하여 최적의 인간-AI 협업 전략을 도출하는 것.
• LLM 예측 결과가 인간 코드화와 결합되어 정치학 연구에서 확장성과 정확도를 향상시키는 데 신뢰할 수 있는지 평가하는 것.
• 황금 표준 인간 코드화와의 비교를 통해 LLM의 성능에 대한 실증적 증거를 제공하고, 텍스트 분류의 재현 가능성과 일관성에 초점을 맞추는 것.

제안 방법

• 세 가지의 명확한 사용 사례 시나리오를 설계함: (1) 최소 인간 입력—순수 LLM 추론; (2) 중간 수준의 입력—LLM 예측에 인간 검토 포함; (3) 최대 수준의 입력—LLM 예측에 반복적인 인간 수정 및 검증 포함.
• GPT-3.5 Turbo와 GPT-4 모델은 비교 의제 프로젝트의 21개 정책 문제 주제를 구조적이고 지시 기반 프롬프트를 사용하여 분류하도록 유도함.
• 분류 성능 평가에 표준 자연어 처리(NLP) 지표를 사용함: 정확도, 정밀도, 재현율, F1 점수로 평균을 계산하고, 매크로 및 가중 평균을 보고함.
• 모델 간 일치도 분석을 통해 양 모델이 일치한 데이터 서브셋을 식별함으로써 나머지 35%에 대한 대상적 인간 검증을 가능하게 함.
• 황금 표준 인간 코드화와의 성능 비교를 통해 각 정책 주제별 및 총괄적으로 결과를 보고함.
• 클래스별 성능 및 모델 간 일치도에 대한 통계 분석을 수행하여 주제 간 신뢰성과 일관성 평가

실험 결과

연구 질문

• RQ1 지침에 맞춰 튜닝된 LLM인 GPT-3.5와 GPT-4가 피팅 튜닝 없이도 다중 분류 정책 문서 분류에서 만족스러운 정확도를 달성할 수 있는가?
• RQ2 분류 파이프라인에서 인간의 참여 수준이 총합 정확도와 비용 효율성에 어떤 영향을 미치는가?
• RQ3 LLM의 개별 정책 주제별 성능은 어떠한가? 어떤 주제가 가장, 어떤 주제가 가장 신뢰성 있게 분류되는가?
• RQ4 GPT-3.5와 GPT-4는 분류에서 어느 정도 일치하는가? 모델 간 일치도는 인간 작업 부담을 줄이는 데 활용될 수 있는가?
• RQ5 LLM을 초기 분류 도구로 사용하고 불확실한 케이스에만 인간이 참여하는 하이브리드 접근 방식은 높은 정확도를 달성하면서도 수동 코드화 노력을 크게 줄일 수 있는가?

주요 결과

• 가장 높은 인간 참여 수준 시나리오(시나리오 3)에서 GPT-4의 총합 정확도는 83%에 도달하였으며, 이는 참여 수준이 낮은 시나리오보다 유의미하게 높았다.
• 최고 수준의 인간 참여 시나리오에서 두 모델은 데이터의 65%에서 일치하였고, 이 서브셋에서 정확도는 83%에 도달하여 고신뢰도 예측의 강력한 신뢰성을 보여주었다.
• 모든 시나리오에서 GPT-4는 GPT-3.5를 일관되게 앞서며 대부분의 정책 주제에서 더 높은 F1 점수와 더 나은 재현율을 기록함.
• ‘건강’, ‘이민’, ‘에너지’, ‘기타(개인법안)’ 주제에서 가장 높은 정확도를 기록하였으며, F1 점수는 0.85 이상이었음.
• '문화', '국제관계', '방위' 주제는 F1 점수가 약 0.00 또는 0.20 이하로 매우 낮아 모델의 지속적인 어려움을 보여줌.
• 본 연구는 하이브리드 접근 방식—65%의 데이터는 고일치도 LLM 예측으로 자동화하고 나머지 35%는 수동으로 코드화함—이 정확도는 유지하면서도 수동 노동을 극적으로 줄일 수 있음을 입증함.