[논문 리뷰] Distinguish Confusing Law Articles for Legal Judgment Prediction

Nuo Xu, Pinghui Wang외 4명|arXiv (Cornell University)|2020. 04. 06.

Artificial Intelligence in Law참고 문헌 20인용 수 10

한 줄 요약

이 논문은 새로운 그래프 정제 연산자와 주의 메커니즘을 통해 혼동스러운 법조항 간의 구분되는 특징을 자동으로 학습함으로써 법적 판단 예측을 향상시키는 엔드 투 엔드 그래프 신경망 모델인 LADAN을 제안한다. 이 방법은 실제 데이터셋에서 최신 기술 대비 F1 점수 최대 5.79% 향상시키며 유사한 죄명 간의 구분을 크게 향상시킨다.

ABSTRACT

Legal Judgment Prediction (LJP) is the task of automatically predicting a law case's judgment results given a text describing its facts, which has excellent prospects in judicial assistance systems and convenient services for the public. In practice, confusing charges are frequent, because law cases applicable to similar law articles are easily misjudged. For addressing this issue, the existing method relies heavily on domain experts, which hinders its application in different law systems. In this paper, we present an end-to-end model, LADAN, to solve the task of LJP. To distinguish confusing charges, we propose a novel graph neural network to automatically learn subtle differences between confusing law articles and design a novel attention mechanism that fully exploits the learned differences to extract compelling discriminative features from fact descriptions attentively. Experiments conducted on real-world datasets demonstrate the superiority of our LADAN.

연구 동기 및 목표

• 유사한 법조항이 자주 잘못 분류되는 법적 판단 예측의 과제를 해결하기 위해.
• 의사결정 전문가가 정의한 속성에 의존하는 것을 줄이기 위해 의미적으로 유사한 법조항 간의 구분되는 특징을 자동으로 학습하기 위해.
• 예측 정확도 향상을 위해 법조항 간 유사성과 차이를 동시에 모델링하는 엔드 투 엔드 프레임워크를 개발하기 위해.
• 유사한 죄명을 구분하는 데 핵심적인 희귀 특징들인 피고인 신분과 같은 구분되는 특징을 강조함으로써 케이스 기술서로부터의 특징 추출을 향상시키기 위해.

제안 방법

• LADAN은 유사한 법조항을 커뮤니티로 묶고, 새로운 그래프 정제 연산자(GDO)를 사용하여 구분 벡터를 계산하는 그래프 기반 표현 학습 방법을 사용한다.
• GDO는 유사한 법조항의 부분 그래프를 처리하여 상호 간의 차이를 학습하고, 커뮤니티별로 특화된 구분 벡터를 생성한다.
• 이중 수준의 주의 메커니즘이 케이스 기술서에서 거시적 특징(커뮤니티 선택용)과 미시적 특징(커뮤니티 내부의 차이 구분용)을 추출한다.
• 모델는 구분 벡터를 사용해 케이스 기술서를 재주시하는 사실 재인코더를 사용하여 피고인 신분과 같은 희귀하고 구분되는 특징을 강조한다.
• 다중 작업 학습(MTL) 헤드를 통합하여 법조항, 죄명, 벌금 조항을 동시에 예측함으로써 전체 일반화 능력을 향상시킨다.
• 그래프 구축 레이어(GCL)는 GDO 적용 이전에 의미 있는 법조항 커뮤니티를 형성하기 위해 임계값을 적용한 유사도 측정법을 사용한다.

실험 결과

연구 질문

• RQ1 전문가가 정의한 속성에 의존하지 않고도 엔드 투 엔드 모델이 매우 유사한 법조항을 효과적으로 구분할 수 있는가?
• RQ2 그래프 신경망은 의미적으로 가까운 법조항 간의 미세한 차이를 어떻게 학습할 수 있는가?
• RQ3 법조항 간의 상호 구분 특징을 통합할 경우 법적 판단 예측 정확도는 어느 정도 향상되는가?
• RQ4 학습된 구분 특징에 의해 안내된 주의 메커니즘이 각 법조항 별 독립적인 주의 메커니즘보다 혼동스러운 죄명을 다룰 때 더 우수한 성능을 보이는가?
• RQ5 실제 환경에서 다양한 법적 예측 과제(법조항, 죄명, 벌금)에 대해 모델의 성능은 어떻게 되는가?

주요 결과

• LADAN은 CAIL-big 데이터셋에서 기존 최고 성능 모델 대비 F1 점수 5.79% 향상시켜 뚜렷한 성능 향상을 입증했다.
• 모델의 죄명 예측에서 기록한 최고 F1 점수는 83.14%로, 사전 정의된 속성을 기반으로 하는 Few-Shot 모델을 크게 앞서며 성능을 뛰어넘었다.
• 제거 실험 결과 GCL 또는 GDO를 제거할 경우 성능 저하가 발생하여 이들이 핵심적인 역할을 한다는 점을 확인했다.
• 주의 시각화 결과 LADAN이 피고인 신분과 같은 구분되는 특징에 집중하고 있음을 확인했으며, 이는 유사한 죄명인 제163조와 제385조를 구분하는 데 핵심적인 역할을 한다.
• CAIL-big에서의 성능이 CAIL-small보다 뚜렷이 높게 유지되어 더 큰 훈련 데이터가 일반화 능력을 향상시킨다는 점을 시사한다.
• ‘-no both’ 제거 실험 버전이 HARNN+MTL와 유사한 성능을 보이며, 법조항 간 상호 구분 특징의 통합이 성능 향상에 필수적임을 확인했다.