[논문 리뷰] Creating Auxiliary Representations from Charge Definitions for Criminal Charge Prediction

Liangyi Kang, Jie Liu외 3명|arXiv (Cornell University)|2019. 11. 12.

Artificial Intelligence in Law참고 문헌 24인용 수 7

한 줄 요약

이 논문은 형사법의 공식적인 죄명 정의에서 보조적 사실 표현을 생성함으로써 형사처벌 예측을 위한 새로운 방법을 제안한다. 문장 수준에서 관련 죄명 정의를 식별하고, 단어 수준에서 핵심 용어를 정렬하는 이중 수준 주의 메커니즘을 사용하여, 특히 자원이 부족한 죄명 클래스에 대해 표현의 강건성을 향상시킨다. 두 개의 중국어 형사사건 데이터셋에서 F1 점수 향상이 뚜렷하게 나타났으며, 특히 희귀 죄명에서 두드러진 성능 향상을 보였다.

ABSTRACT

Charge prediction, determining charges for criminal cases by analyzing the textual fact descriptions, is a promising technology in legal assistant systems. In practice, the fact descriptions could exhibit a significant intra-class variation due to factors like non-normative use of language, which makes the prediction task very challenging, especially for charge classes with too few samples to cover the expression variation. In this work, we explore to use the charge definitions from criminal law to alleviate this issue. The key idea is that the expressions in a fact description should have corresponding formal terms in charge definitions, and those terms are shared across classes and could account for the diversity in the fact descriptions. Thus, we propose to create auxiliary fact representations from charge definitions to augment fact descriptions representation. The generated auxiliary representations are created through the interaction of fact description with the relevant charge definitions and terms in those definitions by integrated sentence- and word-level attention scheme. Experimental results on two datasets show that our model achieves significant improvement than baselines, especially for classes with few samples.

연구 동기 및 목표

• 비공식적 언어 사용으로 인한 형사사건 기술 내의 동일 죄명 내 변동성을 해결하기 위해.
• 희귀 죄명 클래스의 훈련 샘플 수가 제한된 상황에서도 처벌 예측 성능을 향상시키기 위해.
• 형사법의 공식적인 죄명 정의를 외부 지식으로 활용하여 사실 표현 학습을 향상시키기 위해.
• 사건 기술과 죄명 정의 간 문장 수준 및 단어 수준의 상호작용을 통합하는 다수준 주의 메커니즘을 설계하기 위해.
• 보조 표현의 효과성을 검증하여 동일 죄명 내 분산을 줄이고 일반화 능력을 향상시키기 위해.

제안 방법

• 모델은 사실 기술과의 유사도를 기반으로 형사법의 관련 죄명 정의를 문장 수준 주의를 통해 식별한다.
• 식별된 죄명 정의의 특징을 집계하여 죄명 관련 사실 표현을 생성한다.
• 단어 수준 주의는 사실 기술의 특정 용어를 관련 죄명 정의의 공식 용어와 정렬한다.
• 순환 신경망은 주의를 받은 단어를 집계하여 죄명 토큰 관련 사실 표현을 형성한다.
• 최종 사실 표현은 원본 사실 표현과 두 가지 보조 표현을 연결하여 생성된다.
• 모델는 이중 단계 주의 메커니즘을 사용한다: 먼저 관련 죄명을 식별하고, 그 다음 단어 수준에서 정렬을 정밀화하여 의미 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 형사법의 공식적인 죄명 정의를 통합함으로써 사실 표현의 강건성이 처벌 예측에서 향상되는가?
• RQ2 제안된 이중 수준 주의 메커니즘이 자원이 부족한 죄명 클래스에서 성능에 어떤 영향을 미치는가?
• RQ3 보조 표현은 사실 기술의 동일 죄명 내 분산을 어느 정도 감소시키는가?
• RQ4 죄명 정의의 통합은 새로운 또는 다양한 표현 패턴에서의 일반화 능력을 향상시키는가?
• RQ5 각 구성 요소(문장 수준 및 단어 수준 주의)는 전체 성능에 어떻게 기여하는가?

주요 결과

• 제안된 모델은 강력한 기준 모델 대비 뚜렷한 F1 점수 향상을 보였으며, 특히 훈련 샘플 수가 100건 미만인 죄명 클래스에서 두드러졌다.
• CAIL150K 데이터셋에서 보조 표현이 없이 많은 희귀 죄명의 F1 점수가 0이었지만, 보조 표현을 사용함으로써 성능이 크게 향상되었다.
• 보조 표현을 통합함으로써 사실 표현의 동일 죄명 내 분산이 30~40% 감소했으며, 두 보조 표현을 모두 사용했을 때 가장 낮은 분산을 기록했다.
• 제거 실험에서는 문장 수준 또는 단어 수준 주의 메커니즘을 제거할 경우 성능 저하가 발생하여 이중 수준 설계의 필수성을 확인했다.
• 주의 메커니즘이 비공식적 표현(예: '전기 자동차를 훔쳤다')을 죄명 정의의 공식 용어(예: '절도')로 성공적으로 정렬하여 의미 일관성을 향상시켰다.
• 시각화 결과 모델이 관련 죄명을 정확히 식별하고 핵심 용어를 정렬하는 데 성공했으며, 예를 들어 '경찰에 저항'은 '저항'으로, '칼'은 '폭력 사용'으로 도로 정의에 정확히 대응했다.