[논문 리뷰] Automatic Judgment Prediction via Legal Reading Comprehension

Shangbang Long, Cunchao Tu외 2명|arXiv (Cornell University)|2018. 09. 18.

Artificial Intelligence in Law참고 문헌 26인용 수 14

한 줄 요약

이 논문은 민사 사건의 사법 결과를 예측하기 위해 사건 사실, 원고의 청구, 관련 법조항 간의 상호작용을 모델링하는 법적 독해 이해(LRC) 프레임워크인 AutoJudge를 제안한다. 주어진 정보 간의 상호작용을 주목법 기반 및 엔드 투 엔드 신경망 인코딩을 활용함으로써, 기존의 텍스트 분류 기반 모델 대비 정확도 4.4% 향상 및 F1 점수 5.7% 향상으로 대규모 중국어 민사 사건 데이터셋에서 뚜렷한 성능 향상을 이룩한다.

ABSTRACT

Automatic judgment prediction aims to predict the judicial results based on case materials. It has been studied for several decades mainly by lawyers and judges, considered as a novel and prospective application of artificial intelligence techniques in the legal field. Most existing methods follow the text classification framework, which fails to model the complex interactions among complementary case materials. To address this issue, we formalize the task as Legal Reading Comprehension according to the legal scenario. Following the working protocol of human judges, LRC predicts the final judgment results based on three types of information, including fact description, plaintiffs' pleas, and law articles. Moreover, we propose a novel LRC model, AutoJudge, which captures the complex semantic interactions among facts, pleas, and laws. In experiments, we construct a real-world civil case dataset for LRC. Experimental results on this dataset demonstrate that our model achieves significant improvement over state-of-the-art models. We will publish all source codes and datasets of this work on \urlgithub.com for further research.

연구 동기 및 목표

• 사건 사실, 청구, 법조항 간의 복잡한 상호작용을 모델링함으로써 기존의 텍스트 분류 기반 접근의 한계를 해결하고자 한다.
• 사법 결과 예측을 인간 판사가 다양한 정보원을 통합하는 방식을 모방하는 법적 독해 이해(LRC) 과제로 체계화하고자 한다.
• 이질적인 법적 입력 간의 의미적 상호작용을 포착하는 엔드 투 엔드 신경망 모델인 AutoJudge를 개발하고자 한다.
• 실제 민사 사건 데이터셋을 중국 본토의 공개된 판결문에서 수집하여 대규모, 실생활 적용 가능한 LRC 평가용 데이터셋을 구축하고자 한다.
• 독해 이해 기반 접근이 단순한 연결 또는 법조항 검색 기반 접근보다 법적 판결 예측에서 더 효과적임을 입증하고자 한다.

제안 방법

• 모델이 사법 사실 서술, 원고의 청구, 법조항을 읽고 통합하는 방식으로 판결 예측을 법적 독해 이해(LRC) 과제로 체계화한다.
• 가중 이동 평균단위(GRU)와 다중 헤드 주목법을 활용한 엔드 투 엔드 신경망인 AutoJudge를 제안한다. 이는 세 가지 입력 유형 간의 인코딩 및 주목법을 수행한다.
• 질의(청구)와 문맥(사건 사실 및 법조항) 간의 주목법 점수를 계산하는 계층적 주목법 메커니즘을 도입하여 관련 정보에 대한 선택적 집중을 가능하게 한다.
• 일반화 성능 향상과 노이즈 감소를 위해 이름 익명화 및 법조항 필터링을 포함한 규칙 기반 사전 처리를 적용한다.
• 입력의 이질성을 유지하기 위해 사실, 청구, 법조항을 별도로 인코딩한 후 상호작용을 수행하는 이중 인코딩 전략을 사용한다.
• 각 청구에 대해 이진 판결 레이블(지지/기각)을 기반으로 교차 엔트로피 손실을 사용하여 모델을 엔드 투 엔드로 학습시킨다.

실험 결과

연구 질문

• RQ1 사건 사실, 청구, 법조항 간의 상호작용을 독해 이해 프레임워크를 통해 모델링함으로써, 기존의 텍스트 분류 기반 접근을 초월해 판결 예측 성능을 향상시킬 수 있는가?
• RQ2 단순한 연결 또는 법조항 검색 기반 접근과 비교해 전용 독해 메커니즘을 통합할 경우 예측 성능는 어떻게 향상되는가?
• RQ3 법적 도메인 지식(예: 이름 치환, 조항 필터링)을 활용한 사전 처리가 모델 성능 향상에 얼마나 기여하는가?
• RQ4 실제 운영 환경을 시뮬레이션하기 위해 진정한 법조항이 제공되지 않을 경우 모델의 성능는 얼마나 견고한가?
• RQ5 주목법 시각화를 통해 모델의 개별 판결에 대한 추론 과정에 대한 통찰은 무엇인가?

주요 결과

• AutoJudge는 10만 건의 사건 데이터셋에서 최신 기술 대비 정확도 4.4%p 향상 및 F1 점수 5.7%p 향상된 성능을 기록한다.
• 독해 메커니즘을 제거할 경우 정확도가 3.9%p 감소하고 F1 점수는 4.4%p 감소하여, 다중 정보원 통합에 있어 이 기법의 핵심적 역할을 입증한다.
• 진정한 법조항을 사용할 경우 정확도 및 F1 점수 모두 약 2%p 향상되지만, 해당 정보가 없더라도 여전히 기준 모델을 능가한다.
• 이름 치환 및 법조항 필터링 등의 사전 처리 단계를 제거할 경우 성능이 뚜렷이 저하되어 도메인 특화 지식의 가치를 확인한다.
• 주목법 가중치 시각화 결과, 모델이 청구와 일치하는 의미적으로 관련 있는 사실 및 법조항의 어휘를 적절히 집중적으로 분석하고 있음을 확인하여 해석 가능성과 추론 일치성을 입증한다.
• 실패 분석 결과, 공식 사건 문서에서 핵심적인 시간적 또는 사실적 정보(예: 날짜)가 익명화되어 있어 정확한 예측이 어려워지는 경우가 있으며, 특히 장기간의 분리가 포함된 사건에서 두드러진다.