[논문 리뷰] Interpretable Charge Predictions for Criminal Cases: Learning to Generate Court Views from Fact Descriptions

Hai Ye, Xin Jiang외 2명|arXiv (Cornell University)|2018. 02. 23.

Artificial Intelligence in Law인용 수 23

한 줄 요약

이 논문은 범죄 사례 사실 기술을 기반으로 해석 가능한 법원 시각을 생성하기 위해 주로 체급 레이블 조건부 시퀀스-투-시퀀스 모델을 제안하며, 기소 차별화적 근거 생성을 향상시킨다. 기소 레이블에 따라 디코더를 조건화함으로써 모델는 기소에 특화된 차이점을 강조하는 근거를 생성하게 되어, 실제 중국 범죄 사례 데이터셋에서 기존 Seq2Seq 모델 대비 유창성, 정확도, 활용 가능성에서 뚜렷한 향상을 이룬다.

ABSTRACT

In this paper, we propose to study the problem of COURT VIEW GENeration from the fact description in a criminal case. The task aims to improve the interpretability of charge prediction systems and help automatic legal document generation. We formulate this task as a text-to-text natural language generation (NLG) problem. Sequenceto-sequence model has achieved cutting-edge performances in many NLG tasks. However, due to the non-distinctions of fact descriptions, it is hard for Seq2Seq model to generate charge-discriminative court views. In this work, we explore charge labels to tackle this issue. We propose a label-conditioned Seq2Seq model with attention for this problem, to decode court views conditioned on encoded charge labels. Experimental results show the effectiveness of our method.

연구 동기 및 목표

• 기소 결정을 정당화하는 근거를 생성함으로써 기소 예측 시스템의 해석 가능성을 향상시키기 위해.
• 사건 기술이 다양한 기소에 대해 구분되지 않을 때 기소 차별화적 근거를 생성하는 데 도전하는 문제를 해결하기 위해.
• 실제 법적 문서를 사용하여 법원 시각 생성을 텍스트-투-텍스트 자연어 생성(NLG) 과제로 재구성하기 위해.
• 기소 레이블을 조건부 신호로 활용하여 기소에 특화된 법적 추론을 반영하는 근거 생성을 이끌기 위해.
• 향후 연구를 위해 사실 기술, 근거, 기소 레이블을 포함한 실제 중국 범죄 사례 데이터셋을 공개하기 위해.

제안 방법

• 사건 기술을 입력으로, 특정 기소를 뒷받침하는 근거를 출력으로 하는 텍스트-투-텍스트 NLG 과제로 법원 시각 생성을 재구성한다.
• 기소 레이블을 임bedding하고 디코더에 조건화하여 생성을 이끄는 주로 체급 레이블 조건부 시퀀스-투-시퀀스 모델을 제안한다.
• 사건 기술을 컨텍스트 벡터로 인코딩하는 인코더와, 컨텍스트 벡터와 인코딩된 기소 레이블을 모두 고려하여 근거를 생성하는 디코더를 사용한다.
• 생성된 단어가 입력 기술의 관련 사실 세부 정보와 정렬되도록 어텐션 메커니즘을 통합한다.
• 플레이스홀더(예: <name>, <num>, <date>)를 사용한 단어 수준 마스킹과 HanLP를 활용한 중국어 텍스트 토크나이징을 적용한다.
• 학습률 스케줄링, 조기 정지, 퍼플렉서티를 업데이트 지표로 사용하는 Adam 옵timizer를 사용해 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 기소 레이블에 조건부로 설정된 시퀀스-투-시퀀스 모델이 표준 Seq2Seq 모델보다 더 기소 차별화적 근거를 생성할 수 있는가?
• RQ2 기소 레이블이 생성된 법원 시각 근거의 유창성과 사실 정확도에 어느 정도 기여하는가?
• RQ3 인간 평가자들이 평가했을 때, 제안된 방법은 실제 법적 활용에 적합한 근거를 얼마나 효과적으로 생성하는가?
• RQ4 기소 레이블의 포함 여부가 생성된 근거와 입력 기술의 핵심 사실 세부 정보 간의 정렬에 얼마나 기여하는가?
• RQ5 기존의 기준 NLG 모델 대비 실제 중국 범죄 사례 데이터셋에서 모델의 성능은 어떠한가?

주요 결과

• 제안된 레이블 조건부 Seq2Seq 모델은 자동 평가 지표(BLEU-4 및 ROUGE 점수)와 인간 평가 모두에서 표준 Seq2Seq 기준 모델을 뚜렷이 능가한다.
• 인간 평가자들은 생성된 근거를 평균 5점 만점에 4.3점의 높은 유창성과 평균 5점 만점에 4.1점의 높은 사실 정확도로 평가했다.
• 총 100개의 생성된 근거 중 87개가 실제 법적 활용에 적합하다고 평가되어 강력한 실용적 유용성을 보였다.
• 테스트 세트에서 모델는 BLEU-4 점수 24.1과 ROUGE-L 점수 32.6을 기록하여 뛰어난 생성 품질을 입증했다.
• 제거 실험을 통해 기소 레이블에 조건부로 설정함으로써 모델가 기소 차별화적 콘텐츠 생성 능력이 뚜렷이 향상됨을 확인했으며, 특히 고의 및 과실 침사와 같이 유사한 기소에 대해 특히 그렇다.
• 모델는 사실 기술에 명시적으로 기재되지 않은 요소(예: 의도)를 추론하여 근거에 포함함으로써 해석 가능성 향상을 효과적으로 학습했다.