[논문 리뷰] DISC-LawLLM: Fine-tuning Large Language Models for Intelligent Legal Services

Shengbin Yue, Wei Chen외 9명|arXiv (Cornell University)|2023. 09. 20.

Artificial Intelligence in Law인용 수 24

한 줄 요약

DISC-LawLLM은 중국어 도메인 13B 기본 LLM을 법적 삼단 논법 프롬프트와 검색 보강으로 미세조정하여 법적 추론 및 외부 지식 접근을 가능하게 하며, 전용 DISC-Law-Eval 벤치마크로 평가한다.

ABSTRACT

We propose DISC-LawLLM, an intelligent legal system utilizing large language models (LLMs) to provide a wide range of legal services. We adopt legal syllogism prompting strategies to construct supervised fine-tuning datasets in the Chinese Judicial domain and fine-tune LLMs with legal reasoning capability. We augment LLMs with a retrieval module to enhance models' ability to access and utilize external legal knowledge. A comprehensive legal benchmark, DISC-Law-Eval, is presented to evaluate intelligent legal systems from both objective and subjective dimensions. Quantitative and qualitative results on DISC-Law-Eval demonstrate the effectiveness of our system in serving various users across diverse legal scenarios. The detailed resources are available at https://github.com/FudanDISC/DISC-LawLLM.

연구 동기 및 목표

• 단일 작업을 넘어 광범위한 법률 서비스를 제공할 수 있는 지능형 법률 시스템 구축에 대한 동기를 부여한다.
• 법적 삼단 논법 프롬프트를 활용해 LLM에 법적 추론을 주입하기 위해 DISC-Law-SFT 데이터셋을 개발한다.
• 가장 최신의 법률 지식을 접근하고 환각을 줄이기 위해 검색 모듈을 포함한다.
• 법률 AI 시스템의 객관적·주관적 평가를 위한 포괄적 DISC-Law-Eval 벤치마크를 제안한다.
• 벤치마크에서 DISC-LawLLM이 기존의 법률 LLM보다 우수하다는 것을 보여준다.

제안 방법

• 법적 추론 및 지식 검색 능력을 인코딩하기 위한 두 하위집합으로 DISC-Law-SFT 데이터셋을 구성한다.
• 지정된 하이퍼파라미터로 감독 학습(Fine-tuning)을 사용하여 Baichuan-13B-Base를 DISC-Law-SFT에 미세조정한다.
• 생성 중 참고자료를 제공하기 위해 중국 법률 지식 기반에 대한 검색 보강 모듈을 도입한다.
• 검색 인지적 추론을 위한 DISC-Law-SFT-Triplet를 사용하여 모델을 학습시킨다.
• 객관적(난이도 수준에 따른 객관식) 및 주관적(GPT-3.5 해설자와의 Q&A) 구성 요소를 갖춘 DISC-Law-Eval을 개발한다.

실험 결과

연구 질문

• RQ1 법적 삼단 논법 구조를 따라 중국어로 견고한 법적 추론을 수행할 수 있는가?
• RQ2 검색 보강이 법률 응답의 신뢰성과 사실적 근거를 향상시키는가?
• RQ3 객관적 지식 및 주관적 품질 지표에서 DISC-LawLLM은 기존 일반 LLM 및 법률 LLM과 어떻게 비교되는가?
• RQ4 전문가, 일반 대중, 학생 등 다양한 법률 서비스를 평가하는 데 DISC-Law-Eval 벤치마크가 효과적인가?

주요 결과

• 검색 보강을 포함한 DISC-LawLLM은 여러 법 분야와 난이도에서 객관적 평가에서 경쟁 LLM들을 크게 능가한다.
• GPT-3.5-turbo (175B)과 비교할 때 DISC-LawLLM은 대부분의 객관적 주제에서 우수한 성능을 보이며, 어려운 NJE 및 PAE 항목에서 현저한 이점을 보인다.
• 주관적 평가에 따르면 DISC-LawLLM은 여러 법률 LLM 및 일반 LLM보다 더 높은 정확도, 완전성 및 명료도 점수를 얻는다.
• 모델은 법적 삼단 논법 프롬프트를 통한 강한 법학적 추론과 검색 기반 참조를 통한 향상된 신뢰성을 입증한다.
• 이 접근 방식은 실제 시나리오에서 효과적인 법률 전문가 도구, 상담 및 시험 보조를 제공한다.