[论文解读] LAiW: A Chinese Legal Large Language Models Benchmark

Y. S. Dai, Duanyu Feng+7 more|arXiv (Cornell University)|Oct 9, 2023

Artificial Intelligence in Law被引用 4

一句话总结

本文提出了 LAiW，这是首个基于三重法律能力层级（基础法律 NLP、基础法律应用、复杂法律应用）的中文法律大语言模型（LLM）综合评估基准。该基准评估了 8 种模型，包括法律专用和通用 LLM，结果显示尽管部分法律 LLM 在其基础模型上表现更优，但只有 ChatGPT 在所有任务中达到最先进水平，凸显了当前法律 LLM 在推理与准确率方面的差距。

ABSTRACT

General and legal domain LLMs have demonstrated strong performance in various tasks of LegalAI. However, the current evaluations of these LLMs in LegalAI are defined by the experts of computer science, lacking consistency with the logic of legal practice, making it difficult to judge their practical capabilities. To address this challenge, we are the first to build the Chinese legal LLMs benchmark LAiW, based on the logic of legal practice. To align with the thinking process of legal experts and legal practice (syllogism), we divide the legal capabilities of LLMs from easy to difficult into three levels: basic information retrieval, legal foundation inference, and complex legal application. Each level contains multiple tasks to ensure a comprehensive evaluation. Through automated evaluation of current general and legal domain LLMs on our benchmark, we indicate that these LLMs may not align with the logic of legal practice. LLMs seem to be able to directly acquire complex legal application capabilities but perform poorly in some basic tasks, which may pose obstacles to their practical application and acceptance by legal experts. To further confirm the complex legal application capabilities of current LLMs in legal application scenarios, we also incorporate human evaluation with legal experts. The results indicate that while LLMs may demonstrate strong performance, they still require reinforcement of legal logic.

研究动机与目标

• 为解决中文法律 LLM 缺乏标准化、全面的评估框架的问题。
• 将法律能力划分为三个递进层级：基础法律 NLP、基础法律应用与复杂法律应用。
• 在基准的第一阶段对现有中文法律与通用 LLM 进行评估，重点聚焦于基础法律 NLP 任务。
• 为未来模型开发与微调提供开源的评估数据与指令微调数据集。
• 通过屏蔽敏感数据并邀请法律专家参与数据集构建，确保伦理完整性。

提出的方法

• 该基准按三重法律能力层级构建：基础法律 NLP（如文本分类、实体识别）、基础法律应用（如法律条文推荐）与复杂法律应用（如司法摘要、案件推理）。
• 法律与 AI 专家协作，将现有 LegalAI 任务重新组织并分类为各能力层级内具体、可评估的任务。
• 第一轮评估聚焦于基础法律 NLP，包括法律条文推荐、要素识别、司法摘要与案件识别等任务。
• 评估指标包括准确率、F1 分数、Matthew 相关系数（MCC）以及摘要任务的 ROUGE 分数。
• 数据集构建过程中采取伦理保障措施：个人姓名、地点与 ID 均被屏蔽，且由法律专家审核数据以确保合规性。
• 保留了指令微调数据集，以支持未来 LLM 在法律任务上的微调。

实验结果

研究问题

• RQ1 中文法律 LLM 在基础法律 NLP 任务中与通用 LLM 基础模型相比表现如何？
• RQ2 法律 LLM 在法律特定能力（如法律条文推荐与案件识别）上相较于通用 LLM 提升了多少？
• RQ3 尽管未在法律数据上进行微调，通用大模型（如 ChatGPT）是否能在基础法律 NLP 任务中超越专用法律 LLM？
• RQ4 在结构化法律能力评估下，当前法律 LLM 的关键性能差距是什么？
• RQ5 指令微调与检索增强生成在提升法律推理与准确率方面效果如何？

主要发现

• ChatGPT 在所有基础法律 NLP 任务中表现最佳，其在法律条文推荐任务上的准确率为 0.988，在案件识别任务上为 0.989。
• Baichuan2 与 Ziya-LLaMA 在案件识别任务中表现强劲（准确率分别为 0.970 与 0.947），优于多个法律 LLM。
• HanFei 虽然在法律数据上进行过预训练，但在法律条文推荐任务上的准确率仅为 0.169，表明仅靠领域预训练不足以提升性能。
• LawGPT 在法律条文推荐任务上的表现劣于其基础模型 Chinese-LLaMA（准确率分别为 0.059 与 0.379），表明微调过程中可能存在过拟合。
• 通用 LLM 如 Baichuan2 与 LLaMA2 在要素识别与司法摘要任务上的表现与某些法律 LLM 相当或更优，挑战了‘法律专用模型始终优于通用模型’的假设。
• 该基准揭示，仅有部分法律 LLM 在其通用 LLM 基础上实现性能提升，且与 SOTA 模型（如 ChatGPT）相比，仍存在显著性能差距。