[論文レビュー] DISC-LawLLM: Fine-tuning Large Language Models for Intelligent Legal Services

Shengbin Yue, Wei Chen+9 more|arXiv (Cornell University)|Sep 20, 2023

Artificial Intelligence in Law被引用数 24

ひとこと要約

DISC-LawLLMは、中国語ドメインの13BベースLLMを法的三段論 prompts と取得強化で微調整し、法的推論と外部知識へのアクセスを可能にする。専用のDISC-Law-Evalベンチマークで評価。

ABSTRACT

We propose DISC-LawLLM, an intelligent legal system utilizing large language models (LLMs) to provide a wide range of legal services. We adopt legal syllogism prompting strategies to construct supervised fine-tuning datasets in the Chinese Judicial domain and fine-tune LLMs with legal reasoning capability. We augment LLMs with a retrieval module to enhance models' ability to access and utilize external legal knowledge. A comprehensive legal benchmark, DISC-Law-Eval, is presented to evaluate intelligent legal systems from both objective and subjective dimensions. Quantitative and qualitative results on DISC-Law-Eval demonstrate the effectiveness of our system in serving various users across diverse legal scenarios. The detailed resources are available at https://github.com/FudanDISC/DISC-LawLLM.

研究の動機と目的

• 単一のタスクを超えた広範な法的サービスを提供できるインテリジェントな法務システムの構築を促進する。
• 法的三段論 prompting を用いてLLMsに法的推論を身につけさせるためのDISC-Law-SFTデータセットを開発する。
• 最新の法的知識へアクセスし、幻覚を減らすための取得モジュールを組み込む。
• 法的AIシステムの客観的・主観的評価のための包括的なDISC-Law-Evalベンチマークを提案する。
• このベンチマークでDISC-LawLLMが既存の法務LLMを上回ることを示す。

提案手法

• 法的推論と知識取得能力をエンコードする2つのサブセットを持つDISC-Law-SFTデータセットを構築する。
• 指定されたハイパーパラメータで教師あり微調整を用いて Baichuan-13B-Base を DISC-Law-SFT でファインチューニングする。
• 生成時の参照提供のために中国法の知識ベース上に取得拡張モジュールを導入する。
• 取得認識付き推論を訓練するために DISC-Law-SFT-Triplet を使用する。
• 客観的（難易度別の多肢選択）および主観的（GPT-3.5の審判によるQ&A）コンポーネントを備えたDISC-Law-Evalを開発する。

実験結果

リサーチクエスチョン

• RQ1 DISC-LawLLM は、中国語で法的三段論の構造に従って堅牢な法的推論を行うことができるか？
• RQ2 取得拡張は法的回答の信頼性と事実基盤を改善するか？
• RQ3 客観的知識と主観的品質指標で、DISC-LawLLM は既存の一般LLMおよび法務LLMとどう比較されるか？
• RQ4 DISC-Law-Eval ベンチマークは専門家、一般公開、学生を横断する多様な法的サービスを評価するのに有効か？

主な発見

• 取得拡張を組み込んだDISC-LawLLMは、複数の法分野と難易度レベルにわたる客観的評価で競合するLLMsを大幅に上回る。
• GPT-3.5-turbo (175B) と比較して、DISC-LawLLM はほとんどの客観的科目で優れた性能を示し、難易度の高いNJEおよびPAE項目で顕著な向上を示す。
• 主観的評価は、DISC-LawLLM が複数の法務LLMおよび一般LLMよりも高い正確性、網羅性、明確性スコアを達成することを示している。
• このモデルは法的三段論 prompting による強力な法理推論と、取得ベースの参照による信頼性の向上を示す。
• このアプローチは実務シナリオにおける有効な法務専門ツール、相談、試験支援を生み出す。