[论文解读] Empirical Comparisons of CNN with Other Learning Algorithms for Text Classification in Legal Document Review

Robert Keeling, Rishi Chhatwal+6 more|arXiv (Cornell University)|Dec 19, 2019

Topic Modeling参考文献 10被引用 6

一句话总结

本研究通过实证比较卷积神经网络（CNN）与逻辑回归、支持向量机及随机森林在真实法律文档审查中的文本分类表现。基于四个实际的电子发现（eDiscovery）数据集（文档长度各异），作者发现CNN表现良好，但并无单一算法在所有数据集和训练样本规模下始终优于其他算法，凸显了法律人工智能应用中模型选择的上下文依赖性。

ABSTRACT

Research has shown that Convolutional Neural Networks (CNN) can be effectively applied to text classification as part of a predictive coding protocol. That said, most research to date has been conducted on data sets with short documents that do not reflect the variety of documents in real world document reviews. Using data from four actual reviews with documents of varying lengths, we compared CNN with other popular machine learning algorithms for text classification, including Logistic Regression, Support Vector Machine, and Random Forest. For each data set, classification models were trained with different training sample sizes using different learning algorithms. These models were then evaluated using a large randomly sampled test set of documents, and the results were compared using precision and recall curves. Our study demonstrates that CNN performed well, but that there was no single algorithm that performed the best across the combination of data sets and training sample sizes. These results will help advance research into the legal profession's use of machine learning algorithms that maximize performance.

研究动机与目标

• 评估卷积神经网络（CNN）在法律文档审查中相较于成熟机器学习算法的有效性。
• 评估模型性能在具有不同文档长度的真实电子发现数据集中的变化情况。
• 确定CNN是否在所有法律文档审查数据集和训练规模下均持续优于逻辑回归、支持向量机（SVM）和随机森林等传统算法。
• 分析训练样本规模对不同算法分类性能的影响。
• 根据数据集特征，为从业者提供在法律文本分类中选择最优模型的指导。

提出的方法

• 本研究使用四个来自真实文档审查流程的电子发现（eDiscovery）数据集，每个数据集包含长度各异的文档。
• 在每个数据集上，使用不同训练样本规模对多种机器学习模型（CNN、逻辑回归、SVM、随机森林）进行训练。
• 通过大规模随机采样的测试集对模型进行评估，以确保性能测量的稳健性。
• 使用精确率-召回率曲线衡量性能，以比较不同算法与数据集之间的权衡表现。
• 对每种模型进行超参数调优，以确保评估前达到最优配置。
• 分析聚焦于不同法律文档类型与长度下的泛化性能。

实验结果

研究问题

• RQ1 CNN在分类长度各异的法律文档时是否优于传统机器学习算法？
• RQ2 在真实法律文档审查场景中，模型性能如何随不同训练样本规模而变化？
• RQ3 是否存在一种在所有法律文档审查数据集和训练规模下均表现最佳的算法？
• RQ4 在真实世界法律文本分类中，CNN与其他算法的精确率-召回率曲线有何差异？
• RQ5 文档长度与数据多样性在多大程度上影响法律人工智能应用中的模型选择？

主要发现

• CNN在全部四个法律文档审查数据集中均表现出色，证明其在真实场景中的有效性。
• 在所有数据集和训练样本规模下，无单一算法始终优于其他所有算法。
• 性能显著受具体数据集及训练样本规模的影响。
• 在某些数据集中，逻辑回归和SVM表现具有竞争力，尤其是在训练集较小时。
• 随机森林在部分数据集中表现良好，但整体上不如CNN或逻辑回归一致。
• 结果表明，模型选择应基于数据驱动且具有上下文特异性，而非依赖单一‘最佳’算法。