[论文解读] An External Knowledge Enhanced Multi-label Charge Prediction Approach with Label Number Learning

Wei Duan, Lin Li|arXiv (Cornell University)|Jul 4, 2019

Artificial Intelligence in Law参考文献 35被引用 8

一句话总结

本文提出了一种外部知识增强的多标签罪名预测框架，通过整合法律条文嵌入和可学习数量学习网络（NLN），自动预测最优标签数量和阈值。该方法在大规模中文法律数据集上，对多个SOTA模型的F1分数实现了3%-5%（宏平均）和5%-15%（微平均）的提升。

ABSTRACT

Multi-label charge prediction is a task to predict the corresponding accusations for legal cases, and recently becomes a hot topic. However, current studies use rough methods to deal with the label number. These methods manually set parameters to select label numbers, which has an effect in final prediction quality. We propose an external knowledge enhanced multi-label charge prediction approach that has two phases. One is charge label prediction phase with external knowledge from law provisions, the other one is number learning phase with a number learning network (NLN) designed. Our approach enhanced by external knowledge can automatically adjust the threshold to get label number of law cases. It combines the output probabilities of samples and their corresponding label numbers to get final prediction results. In experiments, our approach is connected to some state of-the art deep learning models. By testing on the biggest published Chinese law dataset, we find that our approach has improvements on these models. We future conduct experiments on multi-label samples from the dataset. In items of macro-F1, the improvement of baselines with our approach is 3%-5%; In items of micro-F1, the significant improvement of our approach is 5%-15%. The experiment results show the effectiveness our approach for multi-label charge prediction.

研究动机与目标

• 解决多标签法律罪名预测中标签数量选择不一致且依赖人工的问题。
• 通过引入法律条文中的外部法律知识，提升法律NLP中多标签文本分类的性能。
• 利用可学习数量学习网络（NLN）自动预测阈值和标签数量，减少对启发式策略的依赖。
• 提升模型在长尾多标签法律数据集上的泛化能力和准确性，尤其针对罕见多标签情形。
• 在保持与现有深度学习架构兼容性的前提下，实现NLN的端到端训练。

提出的方法

• 将法律条文文本作为外部知识，用于丰富法律案件描述的输入表征。
• 设计一种数量学习网络（NLN），通过标签概率的反向传播学习每个标签的自适应阈值。
• 在NLN中构建专用嵌入层，根据样本特定的概率分布动态调整决策阈值。
• 将基模型输出的概率与NLN预测的标签数量相结合，生成最终的多标签预测结果。
• 与基模型端到端联合训练NLN，实现分类与标签数量估计的联合优化。
• 采用支持基模型与NLN联合训练的损失函数，提升多标签设置下的预测一致性并降低误差。

实验结果

研究问题

• RQ1 来自法律条文的外部法律知识是否能提升法律文本分类中多标签罪名预测的性能？
• RQ2 可学习数量学习网络（NLN）是否在预测标签数量方面优于固定阈值或top-k策略？
• RQ3 所提出方法在多标签预测中能多大程度上减少错误，尤其是在罕见或高复杂度案例中？
• RQ4 与标准阈值策略相比，基于NLN的方法在多种深度学习模型上如何提升宏平均-F1和微平均的F1分数？
• RQ5 NLN能否泛化到法律罪名预测之外的其他多标签NLP任务？

主要发现

• 与标准阈值预测方法相比，所提方法在所有测试基线模型上均实现了3%-5%的宏平均F1分数提升。
• 所有模型的微平均F1分数均提升了5%-15%，表明整体预测准确性和鲁棒性显著增强。
• 在NLN增强后，TextCNN基模型达到最高的微平均F1（86.23%）和宏平均F1（77.50%），优于所有基线模型。
• NLN通过端到端学习最优阈值，有效减少了人工超参数调优，提升了在长尾多标签数据上的泛化能力。
• 该方法在罕见多标签样本上表现显著提升，传统策略常因概率分数过低而失效。
• 法律条文嵌入与NLN的结合，使标签预测更加准确且语义上更合理，尤其在涉及多重罪名的复杂案例中表现突出。