[论文解读] Exploring the Use of Text Classification in the Legal Domain

Octavia-Maria Şulea, Marcos Zampieri+4 more|arXiv (Cornell University)|Oct 25, 2017

Artificial Intelligence in Law参考文献 14被引用 105

一句话总结

本论文研究将文本分类应用于法国最高法院判决，使用带掩蔽案件描述的SVM集成来预测法律领域、裁判类型和裁判日期，相对于以往工作取得显著性能提升。

ABSTRACT

In this paper, we investigate the application of text classification methods to support law professionals. We present several experiments applying machine learning techniques to predict with high accuracy the ruling of the French Supreme Court and the law area to which a case belongs to. We also investigate the influence of the time period in which a ruling was made on the form of the case description and the extent to which we need to mask information in a full case ruling to automatically obtain training and test data that resembles case descriptions. We developed a mean probability ensemble system combining the output of multiple SVM classifiers. We report results of 98% average F1 score in predicting a case ruling, 96% F1 score for predicting the law area of a case, and 87.07% F1 score on estimating the date of a ruling.

研究动机与目标

• 动机：促进自动化，以支持法律专业人士在法律研究和案件准备等任务中的工作。
• 研究文本分类是否能够从案件描述中预测法律领域、裁判结果和裁判日期。
• 评估掩蔽对训练数据真实性和模型性能的影响。
• 将集成方法结果与先前基线进行比较，并分析影响预测的数据方面。

提出的方法

• 使用以词汇一元组和二元组为特征的SVM分类器的平均概率集成。
• 使用分层10折交叉验证进行训练和评估，以应对类别不平衡。
• 在训练/测试数据中对目标标签进行掩蔽，以模拟律师可获得的现实草稿。
• 通过删除线索性参考信息进行预处理，并在某些任务中从文本中去除标签词。
• 将集成结果与 Şulea et al. (2017) 基线进行比较，基线使用 LIBLINEAR SVM 在词袋特征上。

实验结果

研究问题

• RQ1 在目标被掩蔽的情况下，文本分类是否能够从描述中预测案件的法律领域？
• RQ2 在真实掩蔽条件下，SVM 分类器的集成是否能够准确地从案件描述预测法院裁决？
• RQ3 时态文本分类是否能够从裁决的描述中估计年代或时间段？
• RQ4 与先前的方法相比，掩蔽对模型性能有何影响？

主要发现

• 集成在法律领域预测（8 类）上达到 96.8% 的平均精确率/召回率和 96.8% 的准确率。
• 集成在六类裁判预测上达到 98.6% 的 F1/精确度和 98.6% 的准确率；在八类裁判预测上，F1 为 95.8%，准确率为 96.2%。
• 在时间预测（7 类）上达到 87.0% 的 F1 和 87.0% 的准确率。
• 在所有任务中，平均概率集成为在同一数据集上的 Şulea et al. (2017) 基线之上。
• 混淆分析显示 non-lieu 和 annulation 是较具挑战性的裁判类别之一，因为样本较少。