[논문 리뷰] LawGPT: A Chinese Legal Knowledge-Enhanced Large Language Model

Zhi Qiang Zhou, Jiang-Xin Shi외 5명|arXiv (Cornell University)|2024. 06. 07.

Artificial Intelligence in Law인용 수 14

한 줄 요약

LawGPT 은 주요 법률 작업에서 오픈 소스 LLaMA 7B를 능가하는 법률 지향 사전 학습 코퍼스와 지식 주도 미세 조정 단계로 강화된 최초의 오픈 소스 중국어 법률 LLM이며, 자체 호스팅으로 데이터 프라이버시를 보존합니다.

ABSTRACT

Large language models (LLMs), including both proprietary and open-source models, have showcased remarkable capabilities in addressing a wide range of downstream tasks. Nonetheless, when it comes to practical Chinese legal tasks, these models fail to meet the actual requirements. Proprietary models do not ensure data privacy for sensitive legal cases, while open-source models demonstrate unsatisfactory performance due to their lack of legal knowledge. To address this problem, we introduce LawGPT, the first open-source model specifically designed for Chinese legal applications. LawGPT comprises two key components: legal-oriented pre-training and legal supervised fine-tuning. Specifically, we employ large-scale Chinese legal documents for legal-oriented pre-training to incorporate legal domain knowledge. To further improve the model's performance on downstream legal tasks, we create a knowledge-driven instruction dataset for legal supervised fine-tuning. Our experimental results demonstrate that LawGPT outperforms the open-source LLaMA 7B model. Our code and resources are publicly available at https://github.com/pengxiao-song/LaWGPT and have received 5.7K stars on GitHub.

연구 동기 및 목표

• 기존 모델의 데이터 프라이버시 및 지식 격차를 해결하기 위해 오픈 소스 중국어 법률 LLM의 개발을 촉진합니다.
• 대규모 법률 사전 학습을 통해 법률 도메인 지식을 도입합니다.
• 지식 주도 지도형 미세 조정을 통해 하위 법률 작업 성능을 향상시킵니다.
• LawGPT의 오픈 소스 기준 모델에 대한 효과를 입증하고 프라이버시 이점을 논의합니다.

제안 방법

• 500K 법률 문서 코퍼스를 사용한 법률 지향 사전 학습(LPT)을 개발합니다.
• LPT 중 기본 모델을 미세 조정하기 위해 LoRA를 적용합니다.
• 법률 감독 학습(LFT)을 위한 30K 규모의 지식 주도 지시 데이터세트를 구성합니다.
• D_LFT에서 Alpaca 스타일 템플릿을 사용해 LPT 모델을 미세 조정하여 LawGPT(LFT)를 얻습니다.
• 추론 중 지시를 Alpaca 템플릿으로 감싸고 자기회귀적으로 응답을 생성합니다.
• 여덟 개의 법률 작업에서 제로샷 성능을 평가하고 GPT-3.5 Turbo, GPT-4, 및 LLaMA 7B와 비교합니다.

실험 결과

연구 질문

• RQ1 법률 지향 사전 학습이 LLM의 중국어 법률 이해 및 추론에 어떤 영향을 미치는가?
• RQ2 지식 주도 지도형 미세 조정이 오픈 소스 LLM의 법률 작업 성능을 향상시킬 수 있는가?
• RQ3 LawGPT가 독점 모델 및 오픈 소스 기준선과 제로샷 법률 작업에서 어떻게 비교되는가?
• RQ4 오픈 소스, 자체 호스팅 모델로 LawGPT를 배포함으로써 얻는 프라이버시 이점은 무엇인가?

주요 결과

• LawGPT는 주요 법률 작업에서 제로샷 설정에서 오픈 소스 LLaMA 7B 모델을 능가합니다.
• LawGPT는 전체 성능에서 독점 모델인 GPT-3.5 Turbo 및 GPT-4보다 뒤처져 있습니다.
• LPT와 LFT의 조합이 기본 오픈 소스 모델보다 법률 작업 성능을 향상시킵니다.
• LawGPT는 데이터 프라이버시 이점이 있는 개인적, 자체 호스팅 배포를 가능하게 합니다.
• 논문은 GitHub에서 공용 코드와 리소스를 제공합니다(5.7K 스타 언급).