[論文レビュー] GPT Takes the Bar Exam

Michael James Bommarito, Daniel Katz|arXiv (Cornell University)|Dec 29, 2022

Artificial Intelligence in Law被引用数 55

ひとこと要約

GPT-3.5 (text-davinci-003) は zero-shot プロンプトでバー試験の問題にアプローチでき、全NCBE MBE 練習試験で50.3%を達成し、ランダム推測を上回る。いくつかのカテゴリーは合格するが、全体の試験には及ばない。

ABSTRACT

Nearly all jurisdictions in the United States require a professional license exam, commonly referred to as "the Bar Exam," as a precondition for law practice. To even sit for the exam, most jurisdictions require that an applicant completes at least seven years of post-secondary education, including three years at an accredited law school. In addition, most test-takers also undergo weeks to months of further, exam-specific preparation. Despite this significant investment of time and capital, approximately one in five test-takers still score under the rate required to pass the exam on their first try. In the face of a complex task that requires such depth of knowledge, what, then, should we expect of the state of the art in "AI?" In this research, we document our experimental evaluation of the performance of OpenAI's `text-davinci-003` model, often-referred to as GPT-3.5, on the multistate multiple choice (MBE) section of the exam. While we find no benefit in fine-tuning over GPT-3.5's zero-shot performance at the scale of our training data, we do find that hyperparameter optimization and prompt engineering positively impacted GPT-3.5's zero-shot performance. For best prompt and parameters, GPT-3.5 achieves a headline correct rate of 50.3% on a complete NCBE MBE practice exam, significantly in excess of the 25% baseline guessing rate, and performs at a passing rate for both Evidence and Torts. GPT-3.5's ranking of responses is also highly-correlated with correctness; its top two and top three choices are correct 71% and 88% of the time, respectively, indicating very strong non-entailment performance. While our ability to interpret these results is limited by nascent scientific understanding of LLMs and the proprietary nature of GPT, we believe that these results strongly suggest that an LLM will pass the MBE component of the Bar Exam in the near future.

研究の動機と目的

• 最先端の LLM がファインチューニングなしで Bar Exam MBE 問題に取り組めるかを評価する。
• プロンプト設計とハイパーパラメータがゼロショット性能に与える影響を評価する。
• GPT-3.5 の性能を NCBE の平均値および各カテゴリーの人間受験者と比較する。
• 法的多択問題におけるファインチューニングがゼロショット性能を上回る利点を示すかを調査する。

提案手法

• text-davinci-003 を用いたゼロショットプロンプトで NCBE MBE 練習問題に回答する。
• トップの選択肢をランク付けする等、複数のプロンプトスタイルを試す。
• ハイパーパラメータを変化させる（temperature, top_p, best_of, max_tokens）とファインチューニングを試みる。
• 正答率、正解性と回答のランキングの相関、カテゴリー別の性能を分析する。
• モデル出力を NCBE が報告した平均値および人間の性能と比較する。

実験結果

リサーチクエスチョン

• RQ1 GPT-3.5 はタスク特異的なファインチューニングなしで、任意の MBE カテゴリを合格できるか。
• RQ2 プロンプト設計とハイパーパラメータは法的 MCQ のゼロショット性能にどのように影響するか。
• RQ3 モデルの top-k 回答ランキングはカテゴリー全体で正解性と相関があるか。
• RQ4 ファインチューニングは MBE 問題におけるゼロショット GPT-3.5 の性能を改善するか。

主な発見

• GPT-3.5 はカテゴリ全体で平均 50% を達成し、25% のランダム推測ベースラインを上回る。
• GPT-3.5 は二つのカテゴリー（Evidence と Torts）を合格し、Evidence 問題では人間と同等のパフォーマンスを示す。
• GPT-3.5 の top-2 および top-3 回答選択は正解性と高度に相関する（それぞれ 71% および 88%）。
• Rank-order prompting（トップ三つの選択肢） は、使用されたプロンプトの中で最も良い性能を示した。
• 本研究では GPT-3.5 のファインチューニングはゼロショットのベースラインより性能を向上させなかった。