[논문 리뷰] GPT Takes the Bar Exam

Michael James Bommarito, Daniel Katz|arXiv (Cornell University)|2022. 12. 29.

Artificial Intelligence in Law인용 수 55

한 줄 요약

GPT-3.5 (text-davinci-003) 가 제로샷 프롬프트로 변호사시험(MBE) 문제에 접근할 수 있으며, 전체 NCBE MBE 연습 시험에서 50.3%를 달성하고 무작위 추측을 능가합니다; 일부 범주에서 합격하지만 전체 시험에는 미치지 못합니다.

ABSTRACT

Nearly all jurisdictions in the United States require a professional license exam, commonly referred to as "the Bar Exam," as a precondition for law practice. To even sit for the exam, most jurisdictions require that an applicant completes at least seven years of post-secondary education, including three years at an accredited law school. In addition, most test-takers also undergo weeks to months of further, exam-specific preparation. Despite this significant investment of time and capital, approximately one in five test-takers still score under the rate required to pass the exam on their first try. In the face of a complex task that requires such depth of knowledge, what, then, should we expect of the state of the art in "AI?" In this research, we document our experimental evaluation of the performance of OpenAI's `text-davinci-003` model, often-referred to as GPT-3.5, on the multistate multiple choice (MBE) section of the exam. While we find no benefit in fine-tuning over GPT-3.5's zero-shot performance at the scale of our training data, we do find that hyperparameter optimization and prompt engineering positively impacted GPT-3.5's zero-shot performance. For best prompt and parameters, GPT-3.5 achieves a headline correct rate of 50.3% on a complete NCBE MBE practice exam, significantly in excess of the 25% baseline guessing rate, and performs at a passing rate for both Evidence and Torts. GPT-3.5's ranking of responses is also highly-correlated with correctness; its top two and top three choices are correct 71% and 88% of the time, respectively, indicating very strong non-entailment performance. While our ability to interpret these results is limited by nascent scientific understanding of LLMs and the proprietary nature of GPT, we believe that these results strongly suggest that an LLM will pass the MBE component of the Bar Exam in the near future.

연구 동기 및 목표

• 최신 LLM이 fine-tuning 없이 Bar Exam MBE 문제를 다룰 수 있는지 평가한다.
• 제로샷 성능에 대한 프롬프트 엔지니어링과 하이퍼파라미터의 영향을 평가한다.
• GPT-3.5 성능을 NCBE 평균 및 범주별 인간 응시자와 비교한다.
• 법률 다지선다형 항목에서 미세조정이 제로샷 성능에 비해 이점을 제공하는지 조사한다.

제안 방법

• text-davinci-003 를 사용한 제로샷 프롬프트로 NCBE MBE 연습 문제에 답한다.
• 랭크 순서화(top choices) 등 다양한 프롬프트 스타일을 실험한다.
• 다양한 하이퍼파라미터(temperature, top_p, best_of, max_tokens) 를 조정하고 파인튜닝 시도 여부를 평가한다.
• 정답 여부, 정답과의 일치도와 범주별 성능의 상관관계를 분석한다.
• 모델 출력과 NCBE가 보고한 평균 및 인간 성능을 비교한다.

실험 결과

연구 질문

• RQ1 GPT-3.5가 작업 특화 미세조정 없이도 어떤 MBE 범주를 통과할 수 있는가?
• RQ2 법률 MCQ에서 제로샷 성능에 대한 프롬프트 설계와 하이퍼파라미터의 영향은 무엇인가?
• RQ3 모델의 top-k 답변 순위가 범주별 정답 여부와 상관관계가 있는가?
• RQ4 MBE 문제에서 미세조정이 제로샷 GPT-3.5 대비 성능을 향상시키는가?

주요 결과

• GPT-3.5 는 범주별 평균 50% 를 달성하여 25% 무작위 추정 기준치를 능가한다.
• GPT-3.5 는 두 가지 범주(Evidence와 Torts)를 통과하고 Evidence 문제에 대해 인간과 동등한 수준이다.
• GPT-3.5 의 상위 2개(top-2) 및 상위 3개(top-3) 답변 선택은 각각 정답과 높은 상관관계가 있다(각각 71% 및 88%).
• 랭크 순서프롬프트(상위 세 가지 선택)가 사용된 프롬프트 중에서 최상의 성능을 보였다.
• 본 연구에서 GPT-3.5 의 파인튜닝은 제로샷 기반 대비 성능을 향상시키지 못했다.