[논문 리뷰] Can GPT-4 Support Analysis of Textual Data in Tasks Requiring Highly Specialized Domain Expertise?

Jaromír Šavelka, Kevin D. Ashley외 3명|arXiv (Cornell University)|2023. 06. 24.

Topic Modeling참고 문헌 38인용 수 11

한 줄 요약

주석 지침으로 프롬프트를 제공하면 GPT-4는 법률 문장 분석에서 잘 훈련된 법대생 주석가와 비슷한 성능을 보이며, 배치 예측도 더 저렴한 비용으로 가능하지만, 사고의 흐름(CoT) 프롬프트는 이점이 제한적이며 모델의 취약성이 우려된다.

ABSTRACT

We evaluated the capability of generative pre-trained transformers~(GPT-4) in analysis of textual data in tasks that require highly specialized domain expertise. Specifically, we focused on the task of analyzing court opinions to interpret legal concepts. We found that GPT-4, prompted with annotation guidelines, performs on par with well-trained law student annotators. We observed that, with a relatively minor decrease in performance, GPT-4 can perform batch predictions leading to significant cost reductions. However, employing chain-of-thought prompting did not lead to noticeably improved performance on this task. Further, we demonstrated how to analyze GPT-4's predictions to identify and mitigate deficiencies in annotation guidelines, and subsequently improve the performance of the model. Finally, we observed that the model is quite brittle, as small formatting related changes in the prompt had a high impact on the predictions. These findings can be leveraged by researchers and practitioners who engage in semantic/pragmatic annotations of texts in the context of the tasks requiring highly specialized domain expertise.

연구 동기 및 목표

• GPT-4가 법원 의견을 분석해 법적 개념 해석을 인간 주석가와 비교하여 평가한다.
• 단일 문장 평가에 비해 비용 효율적인 대안으로 배치 예측을 탐색한다.
• 이 전문 작업에서 사고 과정(CoT) 프롬프트가 정확도를 높이는지 평가한다.
• 주석 지침 변경이 GPT-4의 성능과 모델 강건성에 어떤 영향을 미치는지 조사한다.

제안 방법

• 주석 지침에서 도출한 시스템 프롬프트를 사용하여 문장 수준 및 배치 레이블링을 수행한다.
• 법원 의견 및 법령 해석의 공개된 데이터셋의 골드 라벨과 GPT-4의 출력을 비교한다.
• 비용 및 성능 트레이드오프를 평가하기 위해 단일 라벨 예측과 배치 예측을 실험한다.
• 설명(CoT)을 포함한 프롬프트를 테스트하여 설명이 정확도를 높이는지 낮추는지 확인한다.
• GPT-4 성능의 개선 여부를 식별하고 프롬프트 변화에 대한 강건성을 평가하기 위해 주석 지침을 수정한다.

Figure 1: A mock-up interface with an example statutory provision on the left (1). The user indicated that they are interested in the meaning of the “common business purpose“ phrase as used in the provision (2). The system responds with a list of sentences that are deemed useful for explaining the m

실험 결과

연구 질문

• RQ1 RQ1: 이 전문 법적 작업에서 GPT-4의 주석 성능이 인간 주석가와 어떻게 비교되는가?
• RQ2 RQ2: GPT-4가 배치 예측을 수행하되 정확도 감소가 크지 않게 효과적으로 수행할 수 있는가?
• RQ3 RQ3: 설명 제공(CoT 프롬프트)이 이 작업에서 GPT-4의 예측을 향상시키는가?
• RQ4 RQ4: 주석 지침의 수정이 GPT-4의 성능에 어떤 영향을 미치는가?
• RQ5 RQ5: 실험 전반에 걸쳐 작은 프롬프트 변경에 대한 GPT-4 예측의 강건성은 어느 정도인가?

주요 결과

• GPT-4의 전체 F1은 0.53으로 원래 지침으로 단일 라벨을 예측할 때 이 데이터셋에서 인간 법대생과 비견된다.
• 배치 예측은 F1이 0.52로 단일 포인트 예측보다 약간 낮은 성능을 보이지만 비용은 크게 감소한다.
• 설명(CoT)을 포함한 프롬프트는 원래 지침하에서 성능을 개선하지 못하고 배치 설정에서 특히 결과를 악화시킬 수 있다.
• 주석 지침(프롬프트)을 다듬으면 단일 라벨 F1이 0.57로 올라가고, 이전에 관찰된 특정 오라벨링 이슈를 감소시킨다.
• 업데이트된 지침과 설명으로 배치 예측은 혼합된 결과를 보이며, 일부 구성은 성능을 유지하는 반면 다른 구성은 악화하고 있다; 프롬프트 변화에 대한 강건성은 여전히 문제로 남아 있다.
• GPT-4의 예측은 취약하다: 작은 프롬프트 형식 변경이 결과에 상당한 영향을 미칠 수 있다.

Figure 8: The annotator agreement (Krippendorff’s $\alpha$ ) of the manually created annotations and GPT-4 predictions computed against the consensus (gold) labels. GPT-4 performs comparably to human annotators (law students).