[论文解读] Document classification using a Bi-LSTM to unclog Brazil's supreme court

Fabrício Ataides Braz, Nilton Correia da Silva+14 more|arXiv (Cornell University)|Nov 27, 2018

Artificial Intelligence in Law参考文献 7被引用 11

一句话总结

本文提出一种双向长短期记忆网络（Bi-LSTM），用于分类巴西高等法院（STF）的法律文件——具体为6,814份人工标注的'peças'（法律诉状）——仅使用每份文件的前1,000个词元，即实现84%的F1分数。该模型处理从光栅扫描PDF中通过Tesseract OCR提取的文本，在无需预处理启发式规则的情况下实现高准确率，显著减少了在积压1.08亿起案件的系统中进行人工分类所需的时间。

ABSTRACT

The Brazilian court system is currently the most clogged up judiciary system in the world. Thousands of lawsuit cases reach the supreme court every day. These cases need to be analyzed in order to be associated to relevant tags and allocated to the right team. Most of the cases reach the court as raster scanned documents with widely variable levels of quality. One of the first steps for the analysis is to classify these documents. In this paper we present a Bidirectional Long Short-Term Memory network (Bi-LSTM) to classify these pieces of legal document.

研究动机与目标

• 通过自动化文档分类，解决巴西高等法院（STF）面临的严重积压问题，该法院每学期处理约42,000起案件，拥堵率高达73%。
• 通过在低质量扫描文档上部署机器学习，将司法人员在人工分类上花费的时间（每学期估计为22,000人时）降至最低。
• 开发一种稳健的端到端分类系统，用于法律诉状（peças），能够处理版式多样性、OCR质量差和输入噪声，且不依赖基于规则的预处理。
• 通过可扩展的、基于人工智能的法律文件处理，为实现联合国可持续发展目标16.3做出贡献，推动司法公正的平等获取。

提出的方法

• 使用Tesseract OCR从光栅图像PDF中提取文本，并通过正则表达式验证嵌入式文本，若质量较低则回退至OCR处理。
• 使用词嵌入将每个词元转换为100维分布式向量，以实现法律文本的语义表示。
• 实现双向LSTM架构，包含两个200记忆单元块的LSTM（前向与后向），以捕捉双向序列上下文。
• 通过求和连接前向与后向LSTM的输出，随后应用ReLU激活函数，并通过一个包含6个神经元和Softmax激活函数的全连接层实现多分类。
• 将模型输入限制为每份文档的前1,000个词元，通常覆盖一页内容，以最小化OCR成本并聚焦于最具信息量的内容。
• 在GPU（NVIDIA Titan XP）上训练20个周期，批量大小为64，初始初始学习率为0.001，每份文档的推理时间为1.47毫秒。

实验结果

研究问题

• RQ1 Bi-LSTM模型是否能在无需预处理的情况下，对来自巴西高等法院的低质量扫描法律文件实现高分类准确率？
• RQ2 仅使用文档前1,000个词元的模型，在捕捉足够信息以实现准确分类方面效果如何？
• RQ3 当应用于来自光栅PDF的嘈杂、非结构化法律文本时，Bi-LSTM是否优于先前的CNN方法？
• RQ4 端到端学习在多大程度上能减少法律文档分类中对手工设计规则和正则表达式的依赖？

主要发现

• Bi-LSTM模型在测试集上实现了84%的F1分数，表明其在具有高度类内多样性的挑战性数据集上表现强劲。
• 模型的平均精确率为85%，平均召回率为84%，表明在所有类别上均表现出良好的平衡性能。
• 模型在'Sentença'（判决书）类别上实现了93%的高F1分数，在'Outros'（其他）类别上实现了87%的F1分数，表明其在常见且多样的文档类型上具有强大的泛化能力。
• 与先前基于CNN的方法不同，该模型无需任何预处理启发式规则或正则表达式，后者依赖此类规则来清理噪声OCR输出。
• 推理时间仅为每份文档1.47毫秒，显著快于先前工作中CNN模型的5.87毫秒（不包括OCR时间）。
• 该系统将OCR处理限制在每份文档最多两页，因为前1,000个词元已足以完成分类，从而显著降低了计算成本。