[论文解读] Automatic Judgment Prediction via Legal Reading Comprehension

Shangbang Long, Cunchao Tu+2 more|arXiv (Cornell University)|Sep 18, 2018

Artificial Intelligence in Law参考文献 26被引用 14

一句话总结

本文提出 AutoJudge，一种法律阅读理解（LRC）框架，通过建模案件事实、原告诉状与相关法律条文之间的交互，预测民事案件的司法判决结果。通过利用注意力机制和端到端神经编码，AutoJudge 在大规模中文民事案件数据集上显著优于文本分类基线模型，准确率提升 4.4%，F1 值提升 5.7%。

ABSTRACT

Automatic judgment prediction aims to predict the judicial results based on case materials. It has been studied for several decades mainly by lawyers and judges, considered as a novel and prospective application of artificial intelligence techniques in the legal field. Most existing methods follow the text classification framework, which fails to model the complex interactions among complementary case materials. To address this issue, we formalize the task as Legal Reading Comprehension according to the legal scenario. Following the working protocol of human judges, LRC predicts the final judgment results based on three types of information, including fact description, plaintiffs' pleas, and law articles. Moreover, we propose a novel LRC model, AutoJudge, which captures the complex semantic interactions among facts, pleas, and laws. In experiments, we construct a real-world civil case dataset for LRC. Experimental results on this dataset demonstrate that our model achieves significant improvement over state-of-the-art models. We will publish all source codes and datasets of this work on \urlgithub.com for further research.

研究动机与目标

• 为解决文本分类在预测司法判决结果时的局限性，通过建模事实、诉状与法律条文之间的复杂交互关系。
• 将自动判决预测形式化为法律阅读理解（LRC）任务，模拟人类法官如何整合多种信息来源。
• 开发一个端到端神经模型 AutoJudge，以捕捉异构法律输入之间的语义交互。
• 从中国大陆公开可获取的判决书中构建一个大规模、真实世界的民事案件数据集，用于 LRC 评估。
• 证明阅读理解机制在法律判决预测中比简单拼接或检索更有效。

提出的方法

• 将判决预测形式化为法律阅读理解（LRC）任务，其中模型阅读并整合三类输入：事实描述、原告诉状和法律条文。
• 提出 AutoJudge，一种端到端神经网络，采用门控循环单元（GRUs）和多头注意力机制，对三类输入进行编码与跨模态注意力计算。
• 采用分层注意力机制，计算查询（诉状）与上下文（事实与法律条文）之间的注意力分数，实现对相关信息的选择性关注。
• 应用基于规则的预处理，包括姓名匿名化和法律条文过滤，以提升模型泛化能力并减少噪声。
• 采用双编码策略，先分别对事实、诉状和法律条文进行独立编码，再进行交互，以保留输入的异构性。
• 使用交叉熵损失函数，基于每个诉状的二元判决标签（支持/驳回）进行端到端训练。

实验结果

研究问题

• RQ1 通过阅读理解框架建模案件事实、诉状与法律条文之间的交互，是否能超越传统文本分类，在判决预测上取得更好效果？
• RQ2 与简单拼接或法律条文检索相比，引入专用阅读机制在预测性能上表现如何？
• RQ3 使用法律领域知识进行预处理（如姓名替换、条文过滤）在多大程度上提升了模型性能？
• RQ4 当真实法律条文不可用时，模型的鲁棒性如何，能否模拟真实场景下的部署？
• RQ5 注意力可视化能为模型在单个判决中的推理过程提供哪些见解？

主要发现

• 在包含 100,000 个案件的数据集上，AutoJudge 相较于最先进文本分类基线，准确率绝对提升 4.4%，F1 值提升 5.7%。
• 移除阅读机制后，准确率下降 3.9%，F1 值下降 4.4%，证明其在整合多源信息中的关键作用。
• 使用真实法律条文可使准确率和 F1 值均提升近 2%，但即使在无真实条文的情况下，模型仍优于基线模型。
• 当移除姓名替换和法律条文过滤等预处理步骤后，性能显著下降，证实领域特定知识的价值。
• 注意力权重可视化显示，模型能够聚焦于与诉状语义相关的关键短语（如事实与法律条文中的相关内容），表明其具备可解释性与推理一致性。
• 失败案例分析表明，官方案件文件中关键时间或事实信息（如日期）的匿名化会阻碍准确预测，尤其在涉及长期分居的案件中更为明显。