[論文レビュー] LawGPT: A Chinese Legal Knowledge-Enhanced Large Language Model

Zhi Qiang Zhou, Jiang-Xin Shi+5 more|arXiv (Cornell University)|Jun 7, 2024

Artificial Intelligence in Law被引用数 14

ひとこと要約

LawGPT は、法分野向けのプレトレーニングコーパスと知識駆動のファインチューニング段階を強化した初のオープンソースの中国語法務 LLM で、主要な法務タスクでオープンソースの LLaMA 7B を上回る。データプライバシーを自己ホスティングで保持する。

ABSTRACT

Large language models (LLMs), including both proprietary and open-source models, have showcased remarkable capabilities in addressing a wide range of downstream tasks. Nonetheless, when it comes to practical Chinese legal tasks, these models fail to meet the actual requirements. Proprietary models do not ensure data privacy for sensitive legal cases, while open-source models demonstrate unsatisfactory performance due to their lack of legal knowledge. To address this problem, we introduce LawGPT, the first open-source model specifically designed for Chinese legal applications. LawGPT comprises two key components: legal-oriented pre-training and legal supervised fine-tuning. Specifically, we employ large-scale Chinese legal documents for legal-oriented pre-training to incorporate legal domain knowledge. To further improve the model's performance on downstream legal tasks, we create a knowledge-driven instruction dataset for legal supervised fine-tuning. Our experimental results demonstrate that LawGPT outperforms the open-source LLaMA 7B model. Our code and resources are publicly available at https://github.com/pengxiao-song/LaWGPT and have received 5.7K stars on GitHub.

研究の動機と目的

• 既存モデルのデータプライバシーと知識ギャップに対処するため、オープンソースの中国語法務 LLM の創設を促す。
• 大規模な法的プレトレーニングを通じて法域知識を組み込む。
• 知識駆動の教師ありファインチューニングを通じて下流の法的タスク性能を向上させる。
• オープンソースのベースラインに対する LawGPT の有効性を実証し、プライバシーの利点を論じる。

提案手法

• 500K 件の法的文書コーパスを用いた法令指向プレトレーニング（LPT）を開発。
• LPT の間に base model に LoRA を適用してファインチューニング。
• 法的教師ありファインチューニング（LFT）のために 30K の知識駆動型命令データセットを構築。
• Alpaca 風テンプレートを用いて D_LFT 上で LPT モデルをファインチューニングし LawGPT（LFT）を得る。
• 推論時には指示を Alpaca テンプレートでラップし、自己回帰的に応答を生成。
• 8つの法的タスクでゼロショット性能を評価し、GPT-3.5 Turbo、GPT-4、LLaMA 7B と比較。

実験結果

リサーチクエスチョン

• RQ1 法域指向のプレトレーニングは、LLM における中国法の理解と推論にどのような影響を与えるか？
• RQ2 知識駆動型の教師ありファインチューニングは、法的タスクにおけるオープンソース LLM の性能を向上させるか？
• RQ3 LawGPT はゼロショットの法的タスクで、専有モデルやオープンソースのベースラインとどう比較されるか？
• RQ4 LawGPT をオープンソースで自社ホスト型としてデプロイすることで得られるプライバシーの利点は何か？

主な発見

Models	Tasks	#1	#2	#3	#4	#5	#6	#7	Avg.
GPT-3.5 Turbo	8 tasks	29.5	31.3	35.5	78.7	76.8	27.4	61.2	17.4	44.7
GPT-4	8 tasks	52.5	27.5	42.0	82.6	81.9	48.6	77.6	19.6	54.0
LLaMA	8 tasks	1.0	7.5	7.0	41.3	54.2	0.2	14.4	7.8	16.7
LaWGPT	8 tasks	0.2	11.0	15.7	42.4	40.8	6.2	15.4	7.6	17.4

• LawGPT はゼロショット設定で主要な法的タスクにおいてオープンソースの LLaMA 7B を上回る。
• LawGPT は全体的な性能で依然として専有モデル GPT-3.5 Turbo および GPT-4 に及ばない。
• LPT と LFT の組み合わせは、基盤のオープンソースモデルより法的タスクの性能を向上させる。
• LawGPT はデータプライバシーの利点を備えたプライベートで自社ホスト型のデプロイを可能にする。
• 論文は GitHub 上に公開コードとリソースを提供（5.7K のスターが付記されている）