[论文解读] AutoLAW: Augmented Legal Reasoning through Legal Precedent Prediction

Robert Mahari|arXiv (Cornell University)|Jun 30, 2021

Artificial Intelligence in Law参考文献 15被引用 8

一句话总结

本文提出法律先例预测（LPP）这一NLP任务，利用微调后的BERT模型，基于法律论据从美国联邦法院判例中预测相关司法先例段落。该模型在53万组样本上进行训练，在未见案例中实现了96%的top-10召回率，并准确预测了美国最高法院大法官埃琳娜·卡根在一份复杂法律备忘录中实际引用的先例。

ABSTRACT

This paper demonstrate how NLP can be used to address an unmet need of the legal community and increase access to justice. The paper introduces Legal Precedent Prediction (LPP), the task of predicting relevant passages from precedential court decisions given the context of a legal argument. To this end, the paper showcases a BERT model, trained on 530,000 examples of legal arguments made by U.S. federal judges, to predict relevant passages from precedential court decisions given the context of a legal argument. In 96% of unseen test examples the correct target passage is among the top-10 predicted passages. The same model is able to predict relevant precedent given a short summary of a complex and unseen legal brief, predicting the precedent that was actually cited by the brief's co-author, former U.S. Solicitor General and current U.S. Supreme Court Justice Elena Kagan.

研究动机与目标

• 解决法律界在高效识别先例方面未被满足的需求，以降低诉讼成本并改善司法可及性。
• 开发一种实用的NLP解决方案，通过提升法律研究的速度与准确性，辅助而非取代法律专业人士。
• 证明基于司法判例训练的NLP模型能够以高精度预测相关先例段落。
• 通过聚焦具有实际社会影响的真实法律任务，弥合NLP研究与法律实践之间的差距。
• 提供一种可扩展、低成本的工具，协助资源有限的法律从业者，包括公共辩护律师和低收入诉讼当事人。

提出的方法

• 在从美国联邦司法判例中提取的53万组法律论据-先例配对上微调基于BERT的模型。
• 使用输入表示，包括法律论据语境（例如案件背景、法律问题、标准适用等），以预测相关先例段落。
• 将LPP建模为多分类任务，模型根据相关性对候选先例段落进行排序。
• 利用BERT生成的上下文嵌入，捕捉法律论据与先例语言之间的语义关系。
• 通过在未见测试样本上测量top-k召回率（例如top-10）来评估模型性能，以衡量检索效果。
• 通过在由大法官埃琳娜·卡根共同撰写的实际法律备忘录上测试模型，验证其泛化能力，预测其实际引用的先例。

实验结果

研究问题

• RQ1 在司法判例中给定法律论据语境的情况下，NLP模型能否准确预测相关司法先例段落？
• RQ2 该模型在未见的复杂法律备忘录中泛化能力如何，特别是在引用高影响力法律推理时？
• RQ3 LPP在多大程度上能够减少律师和法律专业人士进行法律研究的时间与成本？
• RQ4 在法律决策中依赖自动化先例预测时，其失败模式与伦理风险是什么？
• RQ5 LPP能否扩展至识别此前未被引用但语义上相关的先例段落，而不仅限于频繁引用的段落？

主要发现

• 基于BERT的LPP模型实现了96%的top-10召回率，意味着在96%的未见测试案例中，正确先例段落位于前10名预测结果中。
• 该模型成功预测了大法官埃琳娜·卡根在一份复杂且此前未见的法律备忘录中实际引用的先例，证明其在真实法律推理中具有强大的泛化能力。
• 该模型的性能表明，它能显著减少律师在法律研究上花费的时间，而目前这一过程可能占初级律师工作时间的三分之一。
• 该模型能够预测高级法律备忘录中的引用，表明其不仅能支持基础检索任务，还可辅助复杂的法律推理任务。
• 结果表明，NLP可被有意义地应用于法律先例预测，为提升司法可及性提供一条切实可行的路径。
• 尽管性能出色，该模型仍局限于频繁引用的段落，凸显未来研究需关注识别新颖或引用较少的相关先例。