[论文解读] JUSTICE: A Benchmark Dataset for Supreme Court's Judgment Prediction

Mohammad Alali, Shaayan Syed+3 more|arXiv (Cornell University)|Dec 6, 2021

Artificial Intelligence in Law被引用 7

一句话总结

本文介绍了 JUSTICE，一个包含 8,200 起美国最高法院案件的基准数据集，其中标注了案件事实、投票结果和判决类型，旨在使 NLP 模型能够预测司法判决。尽管存在数据质量问题和任务模糊性等挑战，该数据集仍可用于训练 BERT 和 LSTM 等模型进行判决预测，但因案件摘要中信号不足，争议性预测仍无效。

ABSTRACT

Artificial intelligence is being utilized in many domains as of late, and the legal system is no exception. However, as it stands now, the number of well-annotated datasets pertaining to legal documents from the Supreme Court of the United States (SCOTUS) is very limited for public use. Even though the Supreme Court rulings are public domain knowledge, trying to do meaningful work with them becomes a much greater task due to the need to manually gather and process that data from scratch each time. Hence, our goal is to create a high-quality dataset of SCOTUS court cases so that they may be readily used in natural language processing (NLP) research and other data-driven applications. Additionally, recent advances in NLP provide us with the tools to build predictive models that can be used to reveal patterns that influence court decisions. By using advanced NLP algorithms to analyze previous court cases, the trained models are able to predict and classify a court's judgment given the case's facts from the plaintiff and the defendant in textual format; in other words, the model is emulating a human jury by generating a final verdict.

研究动机与目标

• 创建一个标注良好、全面的美国最高法院案件数据集，以支持基于 NLP 的判决预测。
• 解决现有数据集中缺乏涵盖美国最高法院判决全貌的不足，与国家特定或案件类型特定的数据集形成对比。
• 通过提供高质量、结构化的法律文本和判决元数据，提升模型在预测司法结果方面的表现。
• 识别并解决数据质量问题，如缺失值、投票顺序颠倒和获胜方标签模糊。
• 探索仅基于事实摘要预测案件争议性的可行性，尽管文本中信号有限。

提出的方法

• 主要从 Oyez 获取案件数据，并辅以华盛顿大学美国最高法院数据库（SCDB）以解决不一致问题。
• 定义了一个包含 12 个字段的结构化数据集，包括案件编号、当事人名称、案件事实、投票数量、获胜方和判决类型。
• 应用数据清洗技术，修正投票顺序颠倒、获胜方标签模糊和判决类型不匹配等问题。
• 使用基于 BERT 的模型和传统分类器（SVM、LSTM）评估判决预测和争议性分类任务。
• 实施数据增强和镜像技术，以缓解数据集中类别不平衡的问题。
• 提出文本层面的修改方法，如将实体替换为 <p1>、<p2>，以提升模型泛化能力并减少对当事人名称的依赖。

实验结果

研究问题

• RQ1 大规模、标注良好的美国最高法院案件数据集是否能够实现基于 NLP 的司法判决准确预测？
• RQ2 如投票顺序颠倒和标签模糊等数据质量问题，如何影响法律判决预测中的模型性能？
• RQ3 在缺乏明确信号的情况下，仅凭事实摘要在多大程度上可预测案件是否具有争议性？
• RQ4 通过实体匿名化（如 <p1>、<p2>）修改输入文本，能否改善模型性能并减少对当事人名称的依赖？
• RQ5 当仅使用案件摘要进行训练时，当前 NLP 模型在预测法律结果方面存在哪些局限性？

主要发现

• JUSTICE 数据集包含 8,200 个美国最高法院案件，其案件事实、投票结果和判决类型均经过结构化清洗标注。
• 数据集揭示了显著的数据质量问题，包括 11% 的案件存在多数方/少数方投票顺序颠倒，13% 的案件获胜方标签模糊。
• 使用 BERT 和 SVM 的判决预测模型取得了超过 90% 的高准确率，表明该数据集适用于此类任务。
• 争议性预测任务未能产生有意义的结果，SVM 仅达到 61% 的准确率，原因在于类别不平衡和案件摘要中信号不足。
• LSTM 模型的交叉熵损失无法低于 0.6，表明其在争议性任务中学习动态表现差。
• 建议通过将当事人名称替换为 <p1> 和 <p2> 等文本级修改方法，以提升模型泛化能力并减少对命名实体的依赖。