[论文解读] CAIL2018: A Large-Scale Legal Dataset for Judgment Prediction

Chaojun Xiao, Haoxi Zhong+9 more|arXiv (Cornell University)|Jul 4, 2018

Artificial Intelligence in Law参考文献 10被引用 188

一句话总结

本文介绍了 CAIL2018，这是首个大规模的中文法律裁判预测数据集，包含超过 2.6M 案件并具丰富注释（法律条文、罪名、刑期）；基线模型显示出较高的准确性，但由于数据不平衡和术语预测难度，宏观精确度/召回存在显著挑战。

ABSTRACT

In this paper, we introduce the extbf{C}hinese extbf{AI} and extbf{L}aw challenge dataset (CAIL2018), the first large-scale Chinese legal dataset for judgment prediction. \dataset contains more than $2.6$ million criminal cases published by the Supreme People's Court of China, which are several times larger than other datasets in existing works on judgment prediction. Moreover, the annotations of judgment results are more detailed and rich. It consists of applicable law articles, charges, and prison terms, which are expected to be inferred according to the fact descriptions of cases. For comparison, we implement several conventional text classification baselines for judgment prediction and experimental results show that it is still a challenge for current models to predict the judgment results of legal cases, especially on prison terms. To help the researchers make improvements on legal judgment prediction, both \dataset and baselines will be released after the CAIL competition\footnote{http://cail.cipsc.org.cn/}.

研究动机与目标

• 提供一个在中国法律领域中用于法律判决预测（LJP）的大规模、丰富注释的数据集。
• 促进评估和改进用于预测法律条文、罪名和刑期的机器学习模型。
• 突出 LJP 任务中的数据不平衡和低频标签等挑战。

提出的方法

• 从 5.7M 份刑事文档组装并预处理得到 2.676M 个单一被告案件，涵盖 183 条法律条文和 202 项罪名。
• 使用正则表达式从判决文书中提取输入（事实描述）和输出（法律条文、罪名、刑期）。
• 在三个子任务（法律条文、罪名、刑期）上评估三种基线：TFIDF+SVM、FastText 和 CNN。
• 使用 THULAC 进行中文分词；使用 200 维 Skip-Gram 嵌入；将 CNN 输入长度设为 4096，并采用多种卷积核尺寸；使用 Adam（lr=0.001）并 dropout 0.5 进行训练。

实验结果

研究问题

• RQ1 一个大规模的中文 LJP 数据集能否在多样化的罪名和条文上提升模型的泛化能力？
• RQ2 在 CAIL2018 上，基线文本分类方法在预测法律条文、罪名和刑期方面的表现如何？
• RQ3 数据不平衡对 LJP 任务中的宏观精确度和宏观召回有何影响？
• RQ4 在三个 LJP 子任务中，模型结构（TFIDF+SVM、FastText、CNN）在准确性方面的比较如何？

主要发现

• CAIL2018 包含 2,676,075 起刑事案件、183 条法律条文和 202 项罪名。
• FastText、TFIDF+SVM 和 CNN 在罪名和法律条文上达到较高的准确性，但由于不平衡和低频标签，宏观精确度/召回较低。
• 总体而言，刑期预测仍然是最具挑战性的子任务。
• 所报告的结果显示具有可观的准确性，但宏观指标（MP、MR）表明仍有显著的改进空间。
• 数据集规模与更丰富的注释使 CAIL2018 与以往的 LJP 数据集区分开来，并使对模型的评估更深入。