[论文解读] Creating Auxiliary Representations from Charge Definitions for Criminal Charge Prediction

Liangyi Kang, Jie Liu+3 more|arXiv (Cornell University)|Nov 12, 2019

Artificial Intelligence in Law参考文献 24被引用 7

一句话总结

本文提出了一种新颖的刑事指控预测方法，通过从刑法中的正式指控定义中创建辅助事实表示。其模型采用两级注意力机制——句级注意力用于识别相关指控定义，词级注意力用于对齐关键术语——从而增强表示的鲁棒性，尤其在低资源指控类别上表现显著，相较于两个中文刑事案件数据集上的强基线模型，F1值有显著提升，尤其在罕见指控上表现突出。

ABSTRACT

Charge prediction, determining charges for criminal cases by analyzing the textual fact descriptions, is a promising technology in legal assistant systems. In practice, the fact descriptions could exhibit a significant intra-class variation due to factors like non-normative use of language, which makes the prediction task very challenging, especially for charge classes with too few samples to cover the expression variation. In this work, we explore to use the charge definitions from criminal law to alleviate this issue. The key idea is that the expressions in a fact description should have corresponding formal terms in charge definitions, and those terms are shared across classes and could account for the diversity in the fact descriptions. Thus, we propose to create auxiliary fact representations from charge definitions to augment fact descriptions representation. The generated auxiliary representations are created through the interaction of fact description with the relevant charge definitions and terms in those definitions by integrated sentence- and word-level attention scheme. Experimental results on two datasets show that our model achieves significant improvement than baselines, especially for classes with few samples.

研究动机与目标

• 解决由于非正式语言使用导致的刑事事实描述中的类内差异问题。
• 提升指控预测性能，尤其针对训练样本有限的罕见指控类别。
• 利用刑法中的正式指控定义作为外部知识，增强事实表示学习。
• 设计多级注意力机制，整合事实描述与指控定义之间的句级与词级交互。
• 验证辅助表示在降低类内差异和提升泛化能力方面的有效性。

提出的方法

• 模型使用句级注意力，根据事实描述的相似性，从刑法中识别出相关的指控定义。
• 通过聚合所识别出的指控定义中的特征，生成与指控相关的事实表示。
• 词级注意力将事实描述中的特定术语与相关指控定义中的正式术语对齐。
• 循环神经网络聚合经注意力加权的术语，形成与指控标记相关的事实表示。
• 最终的事实表示通过将原始事实表示与两种辅助表示拼接而成。
• 模型采用两阶段注意力机制：首先识别相关指控，然后在词级上细化对齐，以提升语义一致性。

实验结果

研究问题

• RQ1 将刑法中的正式指控定义纳入模型，能否提升指控预测中事实表示的鲁棒性？
• RQ2 所提出的双级注意力机制对低资源指控类别性能有何影响？
• RQ3 辅助表示在多大程度上减少了事实描述中的类内差异？
• RQ4 整合指控定义是否能提升对未见或表达方式多样的样本的泛化能力？
• RQ5 句级与词级注意力机制的各个组件对整体性能的贡献如何？

主要发现

• 所提模型相较于强基线模型实现了显著的F1值提升，尤其在训练样本少于100个的指控类别上表现突出。
• 在CAIL150K数据集中，许多罕见指控在无辅助表示时F1值为零，但引入辅助表示后性能显著提升。
• 当引入辅助表示后，事实表示的类内差异降低了30%-40%，且同时使用两种辅助表示时达到最低差异。
• 消融实验表明，若移除句级或词级注意力机制，性能均会下降，证实了两级设计的必要性。
• 注意力机制成功地将非正式表达（如“偷了一辆电动车”）与正式法律术语（如“盗窃”）对齐，增强了语义一致性。
• 可视化结果证实，模型正确识别了相关指控，并成功对齐关键术语，例如将“抗拒逮捕”与“抗拒逮捕”对齐，将“一把刀”与“使用暴力”在抢劫定义中对齐。