[论文解读] LegalBench: Prototyping a Collaborative Benchmark for Legal Reasoning

Neel Guha, Daniel E. Ho+2 more|arXiv (Cornell University)|Sep 13, 2022

Artificial Intelligence in Law被引用 12

一句话总结

LegalBench 提出了一项协作式、开放的基准测试，用于评估基础模型在法律推理任务上的表现，其结构基于 IRAC 框架，以捕捉多样化的法律推理类型。初步结果表明，更大的模型优于更小的模型，思维链提示（chain-of-thought prompting）可提升性能，且分类任务比应用或问题识别任务更容易，凸显了针对法律领域设计提示策略的必要性。

ABSTRACT

Can foundation models be guided to execute tasks involving legal reasoning? We believe that building a benchmark to answer this question will require sustained collaborative efforts between the computer science and legal communities. To that end, this short paper serves three purposes. First, we describe how IRAC-a framework legal scholars use to distinguish different types of legal reasoning-can guide the construction of a Foundation Model oriented benchmark. Second, we present a seed set of 44 tasks built according to this framework. We discuss initial findings, and highlight directions for new tasks. Finally-inspired by the Open Science movement-we make a call for the legal and computer science communities to join our efforts by contributing new tasks. This work is ongoing, and our progress can be tracked here: https://github.com/HazyResearch/legalbench.

研究动机与目标

• 为解决缺乏评估基础模型在需要专业知识和多步推理的细微法律推理任务方面表现的基准测试的问题。
• 创建一个由社区驱动、以数据为中心的基准测试，支持法律与计算机科学专家持续贡献新的法律推理任务。
• 研究基础模型能够有效执行哪些类型的法律推理，以及在法律情境下哪种提示策略最为有效。
• 支持开发安全、合乎伦理且可靠的 AI 工具，以辅助而非取代法律专业人士。
• 促进法律学者与计算机科学家在评估和推进法律 AI 领域的跨学科合作。

提出的方法

• 该基准测试围绕 IRAC 框架（问题、规则、应用、结论）构建，以系统化方式对法律推理任务进行分类。
• 在四个法律领域（合同法、宪法法、刑法和知识产权法）中精选了 44 项初始任务。
• 每项任务均设计为 few-shot 学习问题，通过自然语言指令和带标签的示范来引导基础模型。
• 任务类型包括分类、结论预测和问题识别，性能通过 F1（宏平均）分数进行评估。
• 系统性地测试思维链提示和上下文示范对模型性能的影响。
• 该基准测试托管于 GitHub，支持社区持续贡献新任务，并对新兴基础模型进行持续评估。

实验结果

研究问题

• RQ1 基础模型在哪些类型的法律推理（如规则应用、问题识别或结论生成）上能有效执行？
• RQ2 不同基础模型架构和规模在多样化的法律推理任务上表现如何？
• RQ3 提示策略（如思维链或上下文示范）在多大程度上能提升法律推理性能？
• RQ4 与通用领域任务相比，法律语言的词汇和结构特性如何影响基础模型的性能？
• RQ5 该基准测试能否支持开发可靠、可审计且合乎伦理的 AI 工具，以服务于法律实践？

主要发现

• 在所有法律推理任务类型中，更大的基础模型始终优于更小的模型，表明模型规模与性能之间存在强烈相关性。
• 即使架构相同，由于预训练数据和指令微调方案的差异，性能仍存在显著差异。
• 基础模型在分类任务上表现最佳，在应用和问题识别任务上表现最差，表明其在复杂、多步法律推理方面存在困难。
• 对于某些问题识别任务，上下文示范仅带来微小改进，表明性能主要受提示清晰度和模型对任务描述理解程度的影响。
• 思维链提示在多种任务类型中显著提升性能，证明其在增强推理透明度和准确性方面的价值。
• 基础模型在信息抽取和关系抽取任务上表现更强，表明当前模型更易于处理适合此类格式的法律推理任务。