[论文解读] LLM vs. Lawyers: Identifying a Subset of Summary Judgments in a Large UK Case Law Dataset

Ahmed Izzidien, Holli Sargeant+1 more|arXiv (Cornell University)|Mar 4, 2024

Artificial Intelligence in Law被引用 4

一句话总结

本文提出对基于关键词与基于大语言模型（LLM）的方法在大规模英国判例法语料库中识别摘要判决的比较评估。基于剑桥法律语料库（356,011起案件），研究显示，LLM（Claude 2）的加权F1得分为0.94，显著优于基于关键词的方法（F1：0.78），并从中提取出3,102起摘要判决案件，用于时间与管辖权分析。

ABSTRACT

To undertake computational research of the law, efficiently identifying datasets of court decisions that relate to a specific legal issue is a crucial yet challenging endeavour. This study addresses the gap in the literature working with large legal corpora about how to isolate cases, in our case summary judgments, from a large corpus of UK court decisions. We introduce a comparative analysis of two computational methods: (1) a traditional natural language processing-based approach leveraging expert-generated keywords and logical operators and (2) an innovative application of the Claude 2 large language model to classify cases based on content-specific prompts. We use the Cambridge Law Corpus of 356,011 UK court decisions and determine that the large language model achieves a weighted F1 score of 0.94 versus 0.78 for keywords. Despite iterative refinement, the search logic based on keywords fails to capture nuances in legal language. We identify and extract 3,102 summary judgment cases, enabling us to map their distribution across various UK courts over a temporal span. The paper marks a pioneering step in employing advanced natural language processing to tackle core legal research tasks, demonstrating how these technologies can bridge systemic gaps and enhance the accessibility of legal information. We share the extracted dataset metrics to support further research on summary judgments.

研究动机与目标

• 为解决在大规模英国判例法语料库中高效识别摘要判决案件的挑战。
• 比较传统基于关键词的搜索与新型基于LLM的分类方法的有效性。
• 提取并分析跨越英国法院与时间维度的3,102起摘要判决案件数据集。
• 展示先进自然语言处理技术如何提升法律信息的可及性并支持计算法律研究。

提出的方法

• 本研究使用剑桥法律语料库，即包含356,011起英国法院判决的语料库。
• 基于专家生成的术语和逻辑运算符，开发了一种基于关键词的方法以识别摘要判决。
• 基于LLM的方法采用Claude 2模型，并使用与内容相关的提示词，将案件分类为摘要判决。
• LLM被提示评估案件内容是否具备摘要判决的特征，例如程序上的终局性及缺乏庭审。
• 通过在保留的测试集上使用加权F1得分评估性能。
• 最终的3,102起案件数据集被用于分析其在英国各法院及时间维度上的分布情况。

实验结果

研究问题

• RQ1 基于LLM的方法是否能在识别英国判例法中的摘要判决方面优于传统的基于关键词的搜索？
• RQ2 基于关键词与基于LLM的分类在捕捉法律语言细微差别方面的性能差异如何？
• RQ3 摘要判决在不同英国法院及随时间推移的分布情况如何？
• RQ4 LLM在多大程度上可减少法律信息检索中迭代优化的需求？

主要发现

• 基于LLM的方法取得了0.94的加权F1得分，显著优于基于关键词方法的0.78 F1得分。
• 即使经过多次迭代优化，基于关键词的方法仍未能捕捉法律语言中的细微语言特征。
• LLM成功从356,011起案件的语料库中识别出3,102起摘要判决案件。
• 提取的数据集使研究者能够对英国各法院的摘要判决进行时间与管辖权维度的分析。
• 本研究证明，LLM能够有效弥合法律信息检索中的信息鸿沟，提升信息可及性。
• 作者发布了该数据集与评估指标，以支持关于摘要判决的进一步研究。