[论文解读] LawBench: Benchmarking Legal Knowledge of Large Language Models

Zhiwei Fei, Xiaoyu Shen+7 more|arXiv (Cornell University)|Sep 28, 2023

Artificial Intelligence in Law被引用 19

一句话总结

LawBench 在20个以中国民法为导向的任务中评估51个LLMs，评估法律知识记忆、理解和应用，结果显示 GPT-4 仍然是法律领域最强，且专门为法律微调的收益有限。

ABSTRACT

Large language models (LLMs) have demonstrated strong capabilities in various aspects. However, when applying them to the highly specialized, safe-critical legal domain, it is unclear how much legal knowledge they possess and whether they can reliably perform legal-related tasks. To address this gap, we propose a comprehensive evaluation benchmark LawBench. LawBench has been meticulously crafted to have precise assessment of the LLMs' legal capabilities from three cognitive levels: (1) Legal knowledge memorization: whether LLMs can memorize needed legal concepts, articles and facts; (2) Legal knowledge understanding: whether LLMs can comprehend entities, events and relationships within legal text; (3) Legal knowledge applying: whether LLMs can properly utilize their legal knowledge and make necessary reasoning steps to solve realistic legal tasks. LawBench contains 20 diverse tasks covering 5 task types: single-label classification (SLC), multi-label classification (MLC), regression, extraction and generation. We perform extensive evaluations of 51 LLMs on LawBench, including 20 multilingual LLMs, 22 Chinese-oriented LLMs and 9 legal specific LLMs. The results show that GPT-4 remains the best-performing LLM in the legal domain, surpassing the others by a significant margin. While fine-tuning LLMs on legal specific text brings certain improvements, we are still a long way from obtaining usable and reliable LLMs in legal tasks. All data, model predictions and evaluation code are released in https://github.com/open-compass/LawBench/. We hope this benchmark provides in-depth understanding of the LLMs' domain-specified capabilities and speed up the development of LLMs in the legal domain.

研究动机与目标

• 评估 LLMs 记忆多少法律知识，包括核心条文和法律概念。
• 评估对法律文本中实体、事件和关系的理解。
• 通过现实推理任务测试应用法律知识的能力。
• 提供基准，为中文领域法律 LLM 的开发提供指导。
• 发布数据、预测和评估代码以提高可重复性。

提出的方法

• 提出 LawBench，基于 Bloom’s taxonomy 的分层分类法（记忆、理解、应用）
• 构建跨 SLC、MLC、回归、提取和生成的20个多样化任务，覆盖三个认知层级。
• 格式化提示并实现任务特定的答案提取规则和评估指标，以实现公平比较。
• 在零样本和多种设置下评估51个LLMs（多语言、以中文为主、并具法律专业化）。
• 分析诸如 SFT、RLHF、模型规模和法律专门微调等因素，以解释结果。
• 提供与 OpenCompass 平台集成的开源评估代码。

实验结果

研究问题

• RQ1 LLMs 在记忆核心中国法律条文和概念方面的表现如何？
• RQ2 LLMs 能否理解包含实体、事件和关系的复杂法律文本？
• RQ3 LLMs 能否将法律知识应用于需要推理和数值计算的现实任务？
• RQ4 微调策略（SFT、RLHF）和模型规模对法律表现有何影响？
• RQ5 在中文民法任务中，多语言和以中文为导向的 LLM 与法律专门 LLM 有何差异？

主要发现

• GPT-4 仍然是所评估模型中在法律领域表现最佳。
• 法律专门微调有改进，但在零样本设置下并未缩小与顶尖通用 LLM 的差距。
• 在 LawBench 框架下，微调对不同任务和认知层级的收益不同，通常一般 LLM 表现超越法律专门变体。
• LawBench 提供丰富的数据、预测和评估代码，以增强可重复性和进一步研究。
• 基准揭示了差距并指导未来在中文领域开发可靠的法律 LLM。