[논문 리뷰] LawBench: Benchmarking Legal Knowledge of Large Language Models

Zhiwei Fei, Xiaoyu Shen외 7명|arXiv (Cornell University)|2023. 09. 28.

Artificial Intelligence in Law인용 수 19

한 줄 요약

LawBench는 51개 LLM을 20개의 중국 민법 지향 과제에서 평가해 법 지식 암기, 이해 및 적용을 확인했고 GPT-4가 법 영역에서 여전히 가장 강력하며 법 특화 파인튜닝은 큰 이득을 주지 않는다.

ABSTRACT

Large language models (LLMs) have demonstrated strong capabilities in various aspects. However, when applying them to the highly specialized, safe-critical legal domain, it is unclear how much legal knowledge they possess and whether they can reliably perform legal-related tasks. To address this gap, we propose a comprehensive evaluation benchmark LawBench. LawBench has been meticulously crafted to have precise assessment of the LLMs' legal capabilities from three cognitive levels: (1) Legal knowledge memorization: whether LLMs can memorize needed legal concepts, articles and facts; (2) Legal knowledge understanding: whether LLMs can comprehend entities, events and relationships within legal text; (3) Legal knowledge applying: whether LLMs can properly utilize their legal knowledge and make necessary reasoning steps to solve realistic legal tasks. LawBench contains 20 diverse tasks covering 5 task types: single-label classification (SLC), multi-label classification (MLC), regression, extraction and generation. We perform extensive evaluations of 51 LLMs on LawBench, including 20 multilingual LLMs, 22 Chinese-oriented LLMs and 9 legal specific LLMs. The results show that GPT-4 remains the best-performing LLM in the legal domain, surpassing the others by a significant margin. While fine-tuning LLMs on legal specific text brings certain improvements, we are still a long way from obtaining usable and reliable LLMs in legal tasks. All data, model predictions and evaluation code are released in https://github.com/open-compass/LawBench/. We hope this benchmark provides in-depth understanding of the LLMs' domain-specified capabilities and speed up the development of LLMs in the legal domain.

연구 동기 및 목표

• LLMs가 핵심 조문과 법적 개념을 포함한 법적 지식을 얼마나 암기하는지 평가한다.
• 법률 문서에서의 엔티티, 사건 및 관계에 대한 이해를 평가한다.
• 현실적인 추론 과제들을 통해 법적 지식을 적용하는 능력을 테스트한다.
• 중국 도메인 법률 LLM 개발을 안내하기 위한 벤치마크를 제공한다.
• 재현성을 보장하기 위한 데이터, 예측 및 평가 코드를 공개한다.

제안 방법

• Bloom’s taxonomy에 기반한 계층적 분류법(암기, 이해, 적용)을 갖춘 LawBench를 제안한다.
• 세 가지 인지 수준에 걸쳐 SLC, MLC, 회귀, 추출 및 생성에 걸친 20개의 다양한 과제를 구성한다.
• 공정한 비교를 위한 프롬프트 형식화와 과제별 정답 추출 규칙 및 지표를 구현한다.
• 제로샷 및 다양한 설정에서 51개 LLM(다국어, 중국어 중심, 법률 전문화)을 평가한다.
• SFT, RLHF, 모델 크기, 법률 특화 파인튜닝 등 요인을 분석하여 결과를 해석한다.
• OpenCompass 플랫폼과 통합된 오픈 소스 평가 코드를 제공한다.

실험 결과

연구 질문

• RQ1 LLMs가 핵심 중국 법률 조문과 개념을 얼마나 잘 암기하는가?
• RQ2 엔티티, 사건 및 관계를 포함한 복잡한 법률 텍스트를 LLM이 이해할 수 있는가?
• RQ3 추론과 수치 계산이 필요한 현실적인 과제에 법적 지식을 적용할 수 있는가?
• RQ4 미세 조정 전략(SFT, RLHF)과 모델 크기가 법적 성능에 미치는 영향은 무엇인가?
• RQ5 다국어 및 중국어 지향 LLM이 중국 민법 과제에서 법률 전용 LLM과 어떻게 비교되는가?

주요 결과

• GPT-4는 평가 대상 중 법률 분야에서 여전히 가장 성능이 우수한 모델이다.
• 법률 전용 파인튜닝은 개선을 제공하지만 제로샷 설정에서 상위 일반 LLM과의 격차를 좁히지는 못한다.
• 파인튜닝의 이점은 과제와 인지 수준에 따라 다르며, LawBench 프레임워크에서 일반 LLM이 법률 전문 버전을 종종 능가한다.
• LawBench는 재현성과 추가 연구를 위한 광범위한 데이터, 예측 및 평가 코드를 제공한다.
• 벤치마크는 격차를 강조하고 중국 도메인에 신뢰할 수 있는 법률 LLM 개발을 안내한다.