[論文レビュー] Equality before the Law: Legal Judgment Consistency Analysis for Fairness

Yuzhong Wang, Chaojun Xiao+6 more|arXiv (Cornell University)|Mar 25, 2021

Artificial Intelligence in Law参考文献 29被引用数 11

ひとこと要約

本稿では、サブグループのデータに対して仮想の陪審員として機能する法的判断予測（LJP）モデルを訓練することで、性的・地理的グループに跨る法的判断の不一致を定量的に測定する新規指標LInCoを提案する。中国の法制度における顕著な地域的不一致が判明し、これは性別による不一致をはるかに上回っており、敵対的学習などのデバイアス化手法が不一致を低減することを示し、LInCoの公平性評価における有効性を裏付けた。

ABSTRACT

In a legal system, judgment consistency is regarded as one of the most important manifestations of fairness. However, due to the complexity of factual elements that impact sentencing in real-world scenarios, few works have been done on quantitatively measuring judgment consistency towards real-world data. In this paper, we propose an evaluation metric for judgment inconsistency, Legal Inconsistency Coefficient (LInCo), which aims to evaluate inconsistency between data groups divided by specific features (e.g., gender, region, race). We propose to simulate judges from different groups with legal judgment prediction (LJP) models and measure the judicial inconsistency with the disagreement of the judgment results given by LJP models trained on different groups. Experimental results on the synthetic data verify the effectiveness of LInCo. We further employ LInCo to explore the inconsistency in real cases and come to the following observations: (1) Both regional and gender inconsistency exist in the legal system, but gender inconsistency is much less than regional inconsistency; (2) The level of regional inconsistency varies little across different time periods; (3) In general, judicial inconsistency is negatively correlated with the severity of the criminal charges. Besides, we use LInCo to evaluate the performance of several de-bias methods, such as adversarial learning, and find that these mechanisms can effectively help LJP models to avoid suffering from data bias.

研究の動機と目的

• 実世界のデータにおける法的判断の不一致を測定する定量的手法の不足に対処すること。
• 性別や地域などの特徴で定義されるグループに跨る不一致を捉える、スケーラブルでマクロレベルの評価指標を開発すること。
• サブグループで訓練されたモデルに基づく罰則予測の不一致を測定することで、法的判断予測モデルの公平性を評価すること。
• デバイアス化技術がモデル由来の不一致に与える影響を調査すること。

提案手法

• 特定の特徴（例：地域、性別）でグループ化されたデータに対して、別個の法的判断予測（LJP）モデルを訓練し、各グループの仮想陪審員を模倣する。
• LJPモデルを用いて、すべてのグループに対して同じテストケースの罰則を予測する。
• LInCoを、すべてのテストケースにおいて仮想陪審員間の平均合意不一致（例：予測罰則の絶対差の平均）として計算する。
• 合成データを用いてLInCoの妥当性を検証し、LInCoと真の不一致要因との間に0.94以上の相関が確認された。
• LInCoを実際の中国の法的データセットに適用し、省レベルの地域と性別グループに跨る不一致を分析する。
• 敵対的学習などのデバイアス戦略の効果を、LInCoスコアの低減度を測定することで評価する。

実験結果

リサーチクエスチョン

• RQ1 実世界の法的制度において、性的・地理的グループに跨る法的判断の不一致はどの程度変動するか？
• RQ2 制御された合成環境において、LInCoは真の不一致要因と比較して不一致をどの程度定量的に測定できるか？
• RQ3 中国の刑事司法制度において、地域的不一致と性別による不一致の相対的な大きさはいかほどか？
• RQ4 犯罪の深刻度は、判断の不一致とどの程度相関するか？
• RQ5 敵対的学習のようなデバイアス化技術は、LInCoで測定されたモデル由来の不一致を低減できるか？

主な発見

• 中国の法制度における地域的不一致は、性別による不一致よりも顕著に高く、時間経過に伴っても安定したまま維持されている。
• 司法の不一致は、罪の深刻度と負の相関がある—深刻な犯罪では、判決の整合性が高くなる傾向がある。
• LInCoは高い信頼性を示し、合成データの実験で真の不一致要因と0.94以上の相関を示した。
• 重犯罪は軽犯罪よりもより一貫して判断されていることから、深刻度レベルが整合性に影響を与えることが示された。
• 敵対的学習のようなデバイアス化手法は、LInCoスコアを効果的に低減し、LJPモデルにおけるグループベースの不一致を緩和できる能力を示した。
• 結果から、実世界のデータセットにおいて法的判断の不一致が存在することが確認され、特に地域の判決パターンに顕著に現れている。