[논문 리뷰] Charge-Based Prison Term Prediction with Deep Gating Network

Huajie Chen, Deng Cai외 3명|arXiv (Cornell University)|2019. 08. 30.

Artificial Intelligence in Law참고 문헌 24인용 수 7

한 줄 요약

이 논문은 중국의 최고인민법원에서 제공한 238,749宗의 범죄 사례로 구성된 새로운 대규모 데이터셋을 바탕으로, 개인의 죄명별로 복역 기간을 예측함으로써 정확도와 해석 가능성의 향상을 도모하는 새로운 과제인 죄명 기반 복역 기간 예측(CPTP)을 제안한다. 이는 계층적이고 죄명별로 특화된 게이팅 메커니즘을 사용하여 관련 사례 정보를 걸러내고 집계하는 딥 게이팅 네트워크(DGN)를 제안하며, 이는 상태의 최고 성능(SOTA)을 달성한다.

ABSTRACT

Judgment prediction for legal cases has attracted much research efforts for its practice use, of which the ultimate goal is prison term prediction. While existing work merely predicts the total prison term, in reality a defendant is often charged with multiple crimes. In this paper, we argue that charge-based prison term prediction (CPTP) not only better fits realistic needs, but also makes the total prison term prediction more accurate and interpretable. We collect the first large-scale structured data for CPTP and evaluate several competitive baselines. Based on the observation that fine-grained feature selection is the key to achieving good performance, we propose the Deep Gating Network (DGN) for charge-specific feature selection and aggregation. Experiments show that DGN achieves the state-of-the-art performance.

연구 동기 및 목표

• 기존의 총 복역 기간 예측 모델이 죄명 수준의 세부 정보를 忽시하는 한계를 해결하기 위해.
• 총 복역 기간 예측을 죄명별 예측으로 분해함으로써 정확도와 해석 가능성을 향상시키기 위해.
• 중국의 최고인민법원에서 제공한 실제 범죄 사례 기록을 바탕으로, 죄명 기반 복역 기간 예측을 위한 첫 번째 대규모 구조화된 데이터셋을 구축하기 위해.
• 긴 혼합된 사례 기록에서 노이즈가 많고 뒤섞여 있으며 긴 내용을 효과적으로 처리하기 위해 죄명별 정보에 초점을 맞춘 방법을 개발하기 위해.
• 죄명 기반 예측이 히우리스틱 통합을 통해 총 복역 기간 예측의 성능 향상에 기여할 수 있음을 입증하기 위해.

제안 방법

• 각 죄명별로 단계적으로 걸러내고 집계하는 사례 수준의 특징을 처리하기 위해, 여러 개의 LSTM 및 죄명별 게이팅 레이어로 구성된 계층적 아키텍처를 갖춘 딥 게이팅 네트워크(DGN)를 제안한다.
• 입력 사례 기록을 단어 임베딩으로 표현한 후, 죄명별 게이팅을 통한 순차적 인코딩을 위해 스태킹된 LSTM 레이어를 적용한다.
• 각 블록에서 특정 죄명에 대한 관련성을 기반으로 특징을 동적으로 선택하고 억제하는 게이팅 메커니즘을 도입하여 죄명별 콘텐츠에 대한 세밀한 주의를 가능하게 한다.
• 최종 DGN 출력에 1D 컨볼루션 신경망(CNN)을 적용하여 회귀를 위한 전반적인 문서 수준의 표현을 학습한다.
• 회귀 성능 측면에서 MSE, MAE 및 표준 허버 손실보다 뛰어나다는 것이 입증된 로그 허버 손실(LHL)을 사용하여 모델을 훈련시킨다.
• 간단한 히우리스틱(예: 예측된 기간을 합산하는 방식)을 통해 개별 죄명 기반 예측을 통합하여 총 복역 기간 추정치를 도출한다.

실험 결과

연구 질문

• RQ1 죄명 기반 복역 기간 예측은 종단 간 접근 방식에 비해 총 복역 기간 예측의 정확도와 해석 가능성 향상에 기여하는가?
• RQ2 딥 러닝 모델은 긴, 뒤섞인 사례 기록에서 죄명별 정보를 효과적으로 식별하고 집계할 수 있는가?
• RQ3 죄명 기반 복역 기간 예측에서 DGN 모델의 최적의 깊이와 손실 함수는 무엇인가?
• RQ4 개별 죄명을 모델링하는 것이 총 기간 예측을 직접 수행하는 것보다 더 나은 전반적인 성능을 내는가?
• RQ5 실제 법적 사례에서 죄명 기반 예측의 주요 실패 원인과 한계는 무엇인가?

주요 결과

• 제안된 딥 게이팅 네트워크(DGN)는 죄명 기반 복역 기간 예측에서 최고 성능(SOTA)을 달성하며, 액세스 기반 감성 분류에서 유도된 여러 강력한 베이스라인을 크게 앞서 간다.
• 모델 성능은 블록 수가 3개까지 증가함에 따라 향상되나, 이후 과적합 현상이 발생함으로써 최적의 아키텍처 깊이가 존재함을 시사한다.
• 로그 허버 손실(LHL)은 모든 평가 지표에서 최고 성능을 보이며, 특히 S 점수에서 뛰어난 성능을 보여 평가 지표와의 일치성이 회귀 안정성 향상에 기여함을 시사한다.
• 총 기간 예측에 직접 훈련되지 않은 상태에서도, 개별 죄명 예측의 히우리스틱 합산 결과가 전용 총 기간 예측 베이스라인을 초월함으로써 CPTP 분해 전략의 가치를 입증한다.
• 오류 분석 결과, 주요 실패 원인은 장기간의 조직 범죄 사례, 기소서에 국한된 불완전한 기술, 훈련 데이터에 부족하게 포함된 희귀한 법적 상황(예: 과도한 방어)임을 확인하였다.