[论文解读] Equality before the Law: Legal Judgment Consistency Analysis for Fairness

Yuzhong Wang, Chaojun Xiao+6 more|arXiv (Cornell University)|Mar 25, 2021

Artificial Intelligence in Law参考文献 29被引用 11

一句话总结

本文提出 LInCo，一种新颖的度量方法，通过在子群数据上训练法律判决预测（LJP）模型作为虚拟法官，以定量衡量不同人口或地理群体之间的法律判决不一致性。研究揭示了中国法律体系中显著的区域性不一致性，远超性别差异，并表明对抗性学习等去偏方法可降低不一致性，验证了 LInCo 在公平性评估中的有效性。

ABSTRACT

In a legal system, judgment consistency is regarded as one of the most important manifestations of fairness. However, due to the complexity of factual elements that impact sentencing in real-world scenarios, few works have been done on quantitatively measuring judgment consistency towards real-world data. In this paper, we propose an evaluation metric for judgment inconsistency, Legal Inconsistency Coefficient (LInCo), which aims to evaluate inconsistency between data groups divided by specific features (e.g., gender, region, race). We propose to simulate judges from different groups with legal judgment prediction (LJP) models and measure the judicial inconsistency with the disagreement of the judgment results given by LJP models trained on different groups. Experimental results on the synthetic data verify the effectiveness of LInCo. We further employ LInCo to explore the inconsistency in real cases and come to the following observations: (1) Both regional and gender inconsistency exist in the legal system, but gender inconsistency is much less than regional inconsistency; (2) The level of regional inconsistency varies little across different time periods; (3) In general, judicial inconsistency is negatively correlated with the severity of the criminal charges. Besides, we use LInCo to evaluate the performance of several de-bias methods, such as adversarial learning, and find that these mechanisms can effectively help LJP models to avoid suffering from data bias.

研究动机与目标

• 解决现实世界数据中缺乏定量测量法律判决不一致性的方法的问题。
• 开发一种可扩展的宏观层面度量指标，捕捉由性别或地区等特征定义的群体间不一致性。
• 通过测量在子群训练模型上预测的刑罚不一致性，评估法律判决预测模型的公平性。
• 研究去偏技术对降低模型引发的不一致性的影响。

提出的方法

• 针对特定特征（如地区、性别）分组的数据，分别训练法律判决预测（LJP）模型，模拟每个群体的‘虚拟法官’。
• 使用 LJP 模型对所有群体的相同测试案例预测刑罚。
• 将 LInCo 计算为所有测试案例中虚拟法官之间预测结果的平均不一致程度（例如，预测刑罚差异的平均绝对值）。
• 通过显示 LInCo 与真实不一致因素之间的高相关性（≥0.94），在合成数据上验证 LInCo 的有效性。
• 将 LInCo 应用于真实中国法律数据集，分析省级区域和性别群体之间的不一致性。
• 通过测量去偏策略（如对抗性学习）对降低 LInCo 分数的影响，评估其效果。

实验结果

研究问题

• RQ1 在现实世界法律体系中，法律判决不一致性在不同人口或地理群体之间有多大差异？
• RQ2 在受控的合成环境中，LInCo 相较于真实不一致因素，其定量测量不一致性的有效性如何？
• RQ3 在中国刑事司法体系中，区域差异与性别差异的相对程度如何？
• RQ4 刑事指控的严重程度与判决不一致性之间有何关联？
• RQ5 如对抗性学习等去偏技术能否通过 LInCo 测量，有效降低模型引发的不一致性？

主要发现

• 中国法律体系中的区域不一致性显著高于性别差异，且区域差异在不同时间段内保持稳定。
• 司法不一致性与指控严重程度呈负相关——罪行越严重，量刑越具一致性。
• LInCo 表现出高度可靠性，在合成数据实验中与真实不一致因素的相关性达到至少 0.94。
• 重罪的判决一致性高于轻罪，表明严重程度影响一致性水平。
• 去偏方法（如对抗性学习）能有效降低 LInCo 分数，证明其可缓解 LJP 模型中的群体性不一致性。
• 结果证实，现实世界数据集中存在法律判决不一致性，尤其体现在区域量刑模式中。