[논문 리뷰] Exploiting Contrastive Learning and Numerical Evidence for Confusing Legal Judgment Prediction

Leilei Gan, Baokui Li외 6명|arXiv (Cornell University)|2022. 11. 15.

Artificial Intelligence in Law인용 수 4

한 줄 요약

이 논문은 모호한 케이스를 위한 법적 판결 예측(LJP)을 향상시키기 위해 MoCo 기반의 지도형 대비 학습과 NER를 통한 약한 감독형 수치 증거 추출을 융합한 새로운 프레임워크를 제안한다. 분류 기반 표현 학습과 총 범죄 금액 정확한 식별을 동시에 수행함으로써, 특히 모호한 죄명 및 형량 예측에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 가장 도전적인 케이스에서 F1 점수 2.55포인트 향상됨.

ABSTRACT

Given the fact description text of a legal case, legal judgment prediction (LJP) aims to predict the case's charge, law article and penalty term. A core problem of LJP is how to distinguish confusing legal cases, where only subtle text differences exist. Previous studies fail to distinguish different classification errors with a standard cross-entropy classification loss, and ignore the numbers in the fact description for predicting the term of penalty. To tackle these issues, in this work, first, we propose a moco-based supervised contrastive learning to learn distinguishable representations, and explore the best strategy to construct positive example pairs to benefit all three subtasks of LJP simultaneously. Second, in order to exploit the numbers in legal cases for predicting the penalty terms of certain cases, we further enhance the representation of the fact description with extracted crime amounts which are encoded by a pre-trained numeracy model. Extensive experiments on public benchmarks show that the proposed method achieves new state-of-the-art results, especially on confusing legal cases. Ablation studies also demonstrate the effectiveness of each component.

연구 동기 및 목표

• 법적 판결 예측(LJP)에서 미세한 텍스트적 또는 수치적 차이를 가지는 모호한 케이스를 구분하는 데 도전하는 것.
• 특히 고도로 모호한 위험을 가진 케이스에서 죄명, 적용 법률 조항, 형량 예측 정확도를 향상시키는 것.
• 모든 오분류를 동일하게 취급하는 표준 교차 엔트로피 손실의 한계를 극복하여, 모호한 죄명을 포함한 경우에 특화된 손실 기반의 개선을 도모하는 것.
• 비정형 사실 기술에서 총 범죄 금액을 자동으로 추출하고 인코딩하여 형량 예측 성능을 향상시키는 것.
• 모델에 종속되지 않는 프레임워크를 개발하여 수치 증거와 대비 학습을 통합함으로써 세 가지 LJP 하위 작업을 동시에 향상시키는 것.

제안 방법

• 비정형 법적 사실 기술에서 관련 수치를 식별하기 위해 총 범죄 금액 추출을 명명된 엔티티 인식(NER) 작업으로 정형화함.
• 수치적 의미를 유지하고 추출된 범죄 금액을 형량 예측 헤드에 통합하기 위해 사전 학습된 수치 인코더를 활용함.
• 대규모 큐를 사용한 모멘타임 기반 대비 학습 전략을 도입하여 충분한 부정 예제를 확보함으로써 고엔트로피 분류 작업에서의 데이터 부족 문제를 해결함.
• 모든 세 가지 작업(죄명, 법률 조항, 형량)의 표현을 정렬함으로써 동시에 죄명, 법률 조항, 형량 예측에 기여하는 다중 작업 긍정 쌍 구성 전략을 설계함.
• MoCo 기반의 지도형 대비 학습을 적용하여 동일한 법적 케이스 표현을 가까이 모으고, 모호한 케이스 표현은 멀리 떼어냄.
• 하이퍼파라미터 λ를 통해 대비 학습과 분류 간의 트레이드오프를 최적화함으로써 다중 작업 목표에서 손실 기여도를 균형 잡음.

실험 결과

연구 질문

• RQ1 모멘타임 큐를 활용한 지도형 대비 학습은 특히 변동성이 크고 모호성이 높은 환경에서 법적 판결 예측을 위한 표현 학습에 효과적인가?
• RQ2 NER를 통한 약한 감독형 수치 증거 추출은 금융 및 수치 민감도가 높은 케이스의 형량 예측에 상당한 성과 향상을 이끌 수 있는가?
• RQ3 통합된 대비 학습 전략은 죄명, 법률 조항, 형량의 세 하위 작업을 동시에 효과적으로 향상시킬 수 있는가? 특히 상반된 감독 신호로 인한 성능 저하 없이?
• RQ4 추출된 수치 증거의 통합은 형량 예측 향상에 대비 학습보다 더 큰 영향을 미치는가?
• RQ5 다중 작업 LJP에서 긍정 쌍을 구성하는 데 있어 어떤 전략이 동일한 죄명이지만 법률 조항이나 형량 레이블이 다른 경우 발생하는 '모순 현상'을 방지하는 데 최적화되어 있는가?

주요 결과

• 제안된 방법은 실제 중국 LJP 데이터셋에서 새로운 최신 기술 수준(SOTA) 성능을 달성하였으며, 특히 모호한 케이스 예측에서 뛰어난 성능을 보임.
• NeurJudge+에 적용했을 때 모호한 죄명 예측의 F1 점수를 2.55포인트 향상시켜 미세한 케이스 차이를 구분하는 데 강력한 내구성을 입증함.
• 추출된 수치 증거의 통합은 가장 도전적인 형량 예측에서 F1 점수 2.55포인트 향상시키며, 대비 학습 구성 요소만으로도 성능을 뛰어넘음.
• 제거 실험을 통해 수치 증거 추출과 대비 학습이 모두 필수적임을 확인하였으며, 특히 형량 예측에 있어 수치 증거가 더 강한 영향을 미침.
• 모멘타임 대비 큐는 고급정도의 죄명 클래스(119개)가 존재하는 상황에서 대규모이고 안정적인 부정 예제 세트를 제공함으로써 성능을 크게 향상시킴.
• 정성적 사례 연구를 통해 모델이 모호한 죄명의 오분류를 성공적으로 수정하고, 정확히 추출된 총 범죄 금액 기반으로 형량을 정확히 예측함.