[논문 리뷰] Equality before the Law: Legal Judgment Consistency Analysis for Fairness

Yuzhong Wang, Chaojun Xiao외 6명|arXiv (Cornell University)|2021. 03. 25.

Artificial Intelligence in Law참고 문헌 29인용 수 11

한 줄 요약

이 논문은 특정 인구통계학적 또는 지리적 집단 간 법적 판단의 일관성 부족을 정량적으로 측정하기 위해 하위집단 데이터에서 가상의 판사로 기능하는 법적 판단 예측(LJP) 모델을 훈련시켜 LInCo라는 새로운 지표를 제안한다. 이는 중국 법적 체계에서 지역 간 일관성 부족이 성별 기반 불일관성보다 훨씬 심각하다는 것을 드러내며, 적대적 학습과 같은 탈편향 기법이 일관성 부족을 감소시켜 LInCo의 공정성 평가 활용 가능성을 입증한다.

ABSTRACT

In a legal system, judgment consistency is regarded as one of the most important manifestations of fairness. However, due to the complexity of factual elements that impact sentencing in real-world scenarios, few works have been done on quantitatively measuring judgment consistency towards real-world data. In this paper, we propose an evaluation metric for judgment inconsistency, Legal Inconsistency Coefficient (LInCo), which aims to evaluate inconsistency between data groups divided by specific features (e.g., gender, region, race). We propose to simulate judges from different groups with legal judgment prediction (LJP) models and measure the judicial inconsistency with the disagreement of the judgment results given by LJP models trained on different groups. Experimental results on the synthetic data verify the effectiveness of LInCo. We further employ LInCo to explore the inconsistency in real cases and come to the following observations: (1) Both regional and gender inconsistency exist in the legal system, but gender inconsistency is much less than regional inconsistency; (2) The level of regional inconsistency varies little across different time periods; (3) In general, judicial inconsistency is negatively correlated with the severity of the criminal charges. Besides, we use LInCo to evaluate the performance of several de-bias methods, such as adversarial learning, and find that these mechanisms can effectively help LJP models to avoid suffering from data bias.

연구 동기 및 목표

• 실제 데이터에서 법적 판단 일관성 부족을 측정하기 위한 정량적 방법의 부족을 해결하기 위해.
• 성별 또는 지역과 같은 특성에 의해 정의된 집단 간 일관성 부족을 캡처하는 가용성 있는 거시적 수준의 평가 지표를 개발하기 위해.
• 하위집단 훈련 모델 간 벌금 예측의 일관성 부족을 측정하여 법적 판단 예측 모델의 공정성 평가를 위해.
• 탈편향 기법이 모델 유도 일관성 부족을 줄이는 데 미치는 영향을 조사하기 위해.

제안 방법

• 특정 특성(예: 지역, 성별)에 따라 그룹화된 데이터에서 별도의 법적 판단 예측(LJP) 모델을 훈련하여 각 집단에 대한 '가상의 판사'로 기능시키기.
• 모든 집단에서 동일한 테스트 케이스에 대해 LJP 모델을 사용해 벌금 기간을 예측하기.
• 모든 테스트 케이스에 대해 가상의 판사들 간의 평균 불일치(예: 예측된 벌금 기간의 평균 절대 차이)로 LInCo를 계산하기.
• LInCo를 합성 데이터에서 검증하여 LInCo와 기준 불일치 요인 간 상관계수가 ≥0.94로 높음을 보여주기.
• 실제 중국 법적 데이터셋에 LInCo를 적용하여 성급 수준의 지역 간 일관성 부족과 성별 집단 간 일관성 부족 분석하기.
• 적대적 학습과 같은 탈편향 전략의 효과를 측정하여 LInCo 점수 감소에 미치는 영향 평가하기.

실험 결과

연구 질문

• RQ1 실제 법적 체계에서 다양한 인구통계학적 또는 지리적 집단 간 법적 판단 일관성 부족은 어느 정도로 다양하게 나타나는가?
• RQ2 통제된 합성 환경에서 기준 불일치 요인과 비교할 때 LInCo는 얼마나 정량적으로 일관성 부족을 측정하는가?
• RQ3 중국의 형사 사법 체계에서 지역 기반 불일치와 성별 기반 불일치 중 어느 쪽이 상대적으로 더 크며?
• RQ4 형사 죄의 심각도는 판단 일관성 부족과 어떤 관련이 있는가?
• RQ5 적대적 학습과 같은 탈편향 기법은 LInCo로 측정된 모델 유도 일관성 부족을 줄이는 데 효과적인가?

주요 결과

• 중국 법적 체계에서 지역 간 일관성 부족은 성별 기반 불일주성보다 뚜렷하게 높으며, 다양한 시간대에 걸쳐도 지역 격차는 안정적으로 유지된다.
• 사법 일관성은 죄의 심각도와 반비례한다—더 심각한 범죄일수록 선고가 더 일관된다.
• LInCo는 매우 높은 신뢰성을 보이며, 합성 데이터 실험에서 기준 불일치 요인과 상관계수가 최소 0.94에 이를 정도로 높다.
• 중범죄는 경범죄보다 더 일관되게 판단되며, 이는 심각도 수준이 일관성에 영향을 준다는 것을 시사한다.
• 적대적 학습과 같은 탈편향 기법은 LInCo 점수를 효과적으로 감소시켜 LJP 모델에서 집단 기반 일관성 부족을 완화할 수 있음을 입증한다.
• 결과는 실제 데이터셋에서 법적 판단 일관성 부족이 존재하며, 특히 지역별 선고 패턴에서 두드러진다는 것을 확인한다.