[논문 리뷰] Overview of CAIL2018: Legal Judgment Prediction Competition

Haoxi Zhong, Chaojun Xiao외 9명|arXiv (Cornell University)|2018. 10. 13.

Artificial Intelligence in Law참고 문헌 17인용 수 21

한 줄 요약

이 논문은 CAIL2018 법적 판결 예측 경쟁을 제시하며, 대규모 중국 형사법 데이터셋과 세 가지 하위 과제를 소개한다: 사례 기술서에서 관련 법조항, 형사 charges, 그리고 징역 기간을 예측하는 것. 딥 러닝과 앙상블 방법을 사용하여 최상위 모델은 법조항 예측에서 90.62% F1, charges 예측에서 87.91%, 징역 기간 예측에서 78.22%를 기록하여 클래스 불균형과 법적 논리적 종속성 문제 해결에 있어 진전을 보였다.

ABSTRACT

In this paper, we give an overview of the Legal Judgment Prediction (LJP) competition at Chinese AI and Law challenge (CAIL2018). This competition focuses on LJP which aims to predict the judgment results according to the given facts. Specifically, in CAIL2018 , we proposed three subtasks of LJP for the contestants, i.e., predicting relevant law articles, charges and prison terms given the fact descriptions. CAIL2018 has attracted several hundreds participants (601 teams, 1, 144 contestants from 269 organizations). In this paper, we provide a detailed overview of the task definition, related works, outstanding methods and competition results in CAIL2018.

연구 동기 및 목표

• 사실 기반 사례 기술서로부터 법적 판결을 예측하는 자동화된 시스템을 개발하여 법적 지능을 발전시키는 것.
• 클래스 불균형, 모호한 charges 정의, 법적 하위과제 간 복잡한 종속성 등의 과제를 해결하는 것.
• 실제 중국 형사법 데이터에 대해 최첨단 자연어 처리 및 딥 러닝 모델의 성능을 평가하는 것.
• 대규모로 공개된 데이터셋과 경쟁 프레임워크를 통해 해석 가능하고 견고한 법적 AI 연구를 촉진하는 것.

제안 방법

• 중국 판결 온라인에서 570만 건의 중국 형사사건 문서를 확보하여 대규모 데이터셋을 구축하고, 훈련용으로 170만 건으로 필터링하였다.
• 세 가지 하위 과제를 정의: 사실 기술서에서 관련 법조항, 형사 charges, 징역 기간을 예측하는 것.
• 특징 추출 및 분류를 위해 Text-CNN, BiLSTM, GRU, HAN, RCNN, DPCNN 등의 신경망 텍스트 분류 모델을 활용하였다.
• 클래스 불균형 문제를 해결하기 위해 ELMo 임베딩, 포화 손실(focal loss), 데이터 오버샘플링/언더샘플링, 다중 과제 학습과 같은 고급 기법을 적용하였다.
• 징역 기간 예측 성능 향상을 위해 명시적 개체, 금액, 피고 연령 등의 추가 특징을 통합하였다.
• 다양한 모델을 투표 또는 가중 평균 방식으로 융합하여 앙상블 방법을 사용해 모든 하위 과제의 성능을 향상시켰다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 중국 법적 체계에서 자연어 기반 사례 기술서로부터 법적 판결을 예측하는 데 얼마나 효과적인가?
• RQ2 법적 텍스트 분류 과제에서 장꼬리 클래스 분포의 영향을 최소화하는 데 가장 효과적인 기법은 무엇인가?
• RQ3 상호의존적인 법적 하위과제들(예: 법조항과 연결된 charges)의 공동 모델링은 전체 예측 성능 향상에 어느 정도 기여하는가?
• RQ4 수동으로 설계한 특징과 속성 예측은 낮은 빈도 또는 혼동스러운 법적 범주에서 성능 향상에 어떻게 기여하는가?
• RQ5 포화 손실과 주의 메커니즘 같은 손실 함수는 희귀 법적 charges와 징역 기간 간격의 분류 정확도 향상에 어떻게 기여하는가?

주요 결과

• 최고의 성능을 보인 모델은 법조항 예측 하위 과제에서 90.62% F1 스코어를 기록하여 고빈도 범주에서 강력한 성능을 보였다.
• charges 예측은 87.91% F1에 도달하여 딥 러닝과 데이터 균형 기법이 복잡하고 불균형한 법적 범주에서 효과적임을 입증했다.
• 징역 기간 예측은 78.22% F1에 도달하여 다중 요인 종속성과 연속적 결과의 이산화로 인해 가장 도전적인 하위 과제임을 보여주었다.
• ELMo 임베딩, 포화 손실, 수동 특징 설계와 같은 기법들이 낮은 빈도 클래스에서 성능 향상에 크게 기여했다.
• 다중 과제 학습과 앙상블 방법은 모든 하위 과제에서 단일 모델 기반 베이스라인을 뛰어넘는 일관된 성능 향상을 보였다.
• 경쟁를 통해 명시적 특징 설계(예: 관련 금액, 연령)가 의미적 신호만으로는 충분하지 않은 징역 기간 예측에 특히 효과적임이 드러났다.