[论文解读] Exploiting Contrastive Learning and Numerical Evidence for Confusing Legal Judgment Prediction

Leilei Gan, Baokui Li+6 more|arXiv (Cornell University)|Nov 15, 2022

Artificial Intelligence in Law被引用 4

一句话总结

本文提出了一种新颖的框架，结合基于MoCo的监督对比学习与弱监督数值证据抽取（通过NER实现），以提升对易混淆案件的法律判决预测（LJP）性能。通过联合学习判别性表征并准确识别犯罪总额，该方法在易混淆罪名与刑罚条款预测方面实现了最先进性能，尤其在最具挑战性的案例中F1分数提升了2.55分。

ABSTRACT

Given the fact description text of a legal case, legal judgment prediction (LJP) aims to predict the case's charge, law article and penalty term. A core problem of LJP is how to distinguish confusing legal cases, where only subtle text differences exist. Previous studies fail to distinguish different classification errors with a standard cross-entropy classification loss, and ignore the numbers in the fact description for predicting the term of penalty. To tackle these issues, in this work, first, we propose a moco-based supervised contrastive learning to learn distinguishable representations, and explore the best strategy to construct positive example pairs to benefit all three subtasks of LJP simultaneously. Second, in order to exploit the numbers in legal cases for predicting the penalty terms of certain cases, we further enhance the representation of the fact description with extracted crime amounts which are encoded by a pre-trained numeracy model. Extensive experiments on public benchmarks show that the proposed method achieves new state-of-the-art results, especially on confusing legal cases. Ablation studies also demonstrate the effectiveness of each component.

研究动机与目标

• 为解决在法律判决预测（LJP）中区分具有细微文本或数值差异的易混淆案件的挑战。
• 提升对罪名、适用法律条文及刑罚条款的预测准确率，尤其在高混淆风险案件中。
• 克服标准交叉熵损失的局限性，该损失对所有误分类一视同仁，而不论其是否涉及易混淆罪名。
• 通过自动从非结构化事实描述中提取并编码犯罪总额，提升刑罚条款预测性能。
• 开发一种与模型无关的框架，整合数值证据与对比学习，同时提升法律判决预测的三个子任务。

提出的方法

• 将犯罪总额提取形式化为命名实体识别（NER）任务，从非结构化法律事实描述中识别相关数字。
• 采用预训练的数值编码器以保留数值语义，并将提取的犯罪总额整合进刑罚条款预测头。
• 引入基于动量的对比学习策略，利用大规模队列提供充足的负样本，克服高熵分类任务中的数据稀缺问题。
• 设计一种多任务正样本对构建策略，通过在所有三项任务间对齐表征，同时提升罪名、法律条文及刑罚条款的预测性能。
• 应用基于MoCo的监督对比学习，使同一法律案件的表征更紧密聚集，而使易混淆案件的表征相互远离。
• 通过超参数λ优化对比学习与分类之间的权衡，在多任务目标中平衡损失贡献。

实验结果

研究问题

• RQ1 基于动量队列的监督对比学习是否能提升法律判决预测的表征学习性能，尤其是在高变异性、高混淆情境下？
• RQ2 通过NER实现的弱监督数值证据抽取是否能显著提升金融类及数值敏感型案件的刑罚条款预测性能？
• RQ3 统一的对比学习策略能否有效同时提升所有三项子任务（罪名、法律条文、刑罚）而不会因监督信号冲突导致性能下降？
• RQ4 与对比学习相比，提取的数值证据在提升刑罚条款预测方面的实际影响如何？
• RQ5 在多任务LJP中，构建正样本对的最佳策略是什么，以避免‘矛盾现象’——即相同罪名的实例在法律条文或刑罚标签上存在差异？

主要发现

• 所提方法在真实中文LJP数据集上实现了新的最先进性能，尤其在易混淆案件预测方面表现突出。
• 在NeurJudge+数据集上，该框架将易混淆罪名的F1分数提升了2.55分，展现出对细微案件差异的强大鲁棒性。
• 整合提取的数值证据使最具挑战性的刑罚条款预测F1分数提升2.55分，优于仅使用对比学习组件的表现。
• 消融实验确认，数值证据抽取与对比学习均不可或缺，且数值证据对刑罚条款预测的影响更强。
• 动量对比队列显著提升了性能，通过提供大量稳定负样本，尤其在罪名类别数量庞大（119类）的情况下优势明显。
• 定性案例研究显示，模型能成功纠正易混淆罪名的误分类，并基于正确提取的犯罪总额准确预测刑罚条款。