[논문 리뷰] Chatlaw: A Multi-Agent Collaborative Legal Assistant with Knowledge Graph Enhanced Mixture-of-Experts Large Language Model

Jiaxi Cui, Ning, Munan외 7명|arXiv (Cornell University)|2023. 06. 28.

Topic Modeling인용 수 90

한 줄 요약

ChatLaw는 OpenLLAMA 기반의 네 가지 추론 모듈을 갖춘 오픈소스 중국 법률 LLM으로, 망상을 줄이고 검색을 위한 키워드 및 법률 LLM를 더하며 Elo 기반 평가 프레임워크를 갖춘다.

ABSTRACT

AI legal assistants based on Large Language Models (LLMs) can provide accessible legal consulting services, but the hallucination problem poses potential legal risks. This paper presents Chatlaw, an innovative legal assistant utilizing a Mixture-of-Experts (MoE) model and a multi-agent system to enhance the reliability and accuracy of AI-driven legal services. By integrating knowledge graphs with artificial screening, we construct a high-quality legal dataset to train the MoE model. This model utilizes different experts to address various legal issues, optimizing the accuracy of legal responses. Additionally, Standardized Operating Procedures (SOP), modeled after real law firm workflows, significantly reduce errors and hallucinations in legal services. Our MoE model outperforms GPT-4 in the Lawbench and Unified Qualification Exam for Legal Professionals by 7.73% in accuracy and 11 points, respectively, and also surpasses other models in multiple dimensions during real-case consultations, demonstrating our robust capability for legal consultation.

연구 동기 및 목표

• 고품질 데이터와 최신 법 지식을 갖춘 전용 오픈 소스 중국 법률 LLM의 필요성을 자극한다.
• 도메인 특화 데이터, 검색 개선, 추론 시 모듈을 통합하여 ChatLaw를 개발하고 망상을 완화한다.
• 법적 다지선다 평가용 데이터세트를 만들고 법적 작업에 대한 Elo 기반 모델 순위를 확립한다.
• 다양한 법적 작업에 적합한 모델을 선택하는 다중 모델 컨트롤러를 선보인다.
• 데이터 및 모델 구성 요소를 공개하여 개방형 연구를 촉진한다.

제안 방법

• LoRA를 사용하여 Ziya-LLaMA-13B를 미세조정하고 자가 제안을 추가하여 망상을 줄인다.
• LLM을 통한 키워드 추출과 법규 데이터베이스의 벡터 기반 검색을 결합한 하이브리드 검색 파이프라인을 제안한다.
• 937k 건의 텍스트로 법률 조문 및 해석을 추출하기 위해 Law LLM(BERT 기반)을 학습시켜 검색에 활용한다.
• 중국 법률 시험 데이터셋과 Elo 기반 평가 무대를 구성하여 모델 성능을 비교한다.
• 특정 작업에 대해 전문화된 모델로 사용자 요청을 라우팅하기 위해 대형 LLM을 컨트롤러(HuggingGPT 스타일)로 활용한다.
• 오픈 소스 데이터와 구성요소를 포함한 엔드투엔드 ChatLaw 시스템을 공개한다.

실험 결과

연구 질문

• RQ1 오픈 소스 중국 법률 LLM이 외부 지식 베이스를 보강할 때 Q&A, 키워드 추출, 그리고 시험형 질문 등 여러 법적 작업에서 신뢰할 만한 성능을 달성할 수 있는가?
• RQ2 키워드 및 벡터 기반 방법을 결합한 하이브리드 검색 방식이 순수 벡터 검색보다 법률 정보 정확도를 향상시키는가?
• RQ3 자가 제안 메커니즘이 법률 추론 중 망상을 줄이는 데 얼마나 효과적인가?
• RQ4 작업별 미세조정 및 모델 전문화가 법적 영역 작업 성능에 어떤 영향을 미치는가?
• RQ5 Elo 기반 순위 프레임워크가 표준화된 다지선다 문제에서 법적 LLM을 의미 있게 비교할 수 있는가?

주요 결과

• ChatLaw 성능은 MCQ를 위한 법률 QA 데이터와 법령 데이터를 추가하면 이득을 본다.
• 작업별 학습은 특정 작업의 성능을 크게 향상시킨다.
• 더 큰 매개변수 모델은 복잡한 법률 다지선다 문제에서 더 잘 작동하는 경향이 있다.
• 컨트롤러 모델은 주어진 사용자 요청에 대해 가장 적합한 전문 모델을 동적으로 선택할 수 있다.
• LLM 기반 키워드 추출, 법률 텍스트 유사성, 지식 기반 검색의 조합은 순전히 벡터 기반 검색에 의존하는 것을 줄인다.