[논문 리뷰] A Survey on Legal Judgment Prediction: Datasets, Metrics, Models and Challenges

Junyun Cui, Xiaoyu Shen외 4명|arXiv (Cornell University)|2022. 04. 11.

Artificial Intelligence in Law인용 수 7

한 줄 요약

이 종합 검토는 법적 판결 예측(LJP)에 대한 포괄적인 분석을 제공하며, 31개의 다국어 데이터셋, 14개의 평가 지표, 12개의 법적 전문화된 사전학습 모델 및 핵심 과제를 포함한다. 데이터 품질, 모델 해석 가능성, 추론 복잡성 측면에서의 핵심 격차를 밝혀내고, 실제 법적 추론과 적응형 해석 가능성 향상을 위한 향후 연구 방향을 제안한다.

ABSTRACT

Legal judgment prediction (LJP) applies Natural Language Processing (NLP) techniques to predict judgment results based on fact descriptions automatically. Recently, large-scale public datasets and advances in NLP research have led to increasing interest in LJP. Despite a clear gap between machine and human performance, impressive results have been achieved in various benchmark datasets. In this paper, to address the current lack of comprehensive survey of existing LJP tasks, datasets, models and evaluations, (1) we analyze 31 LJP datasets in 6 languages, present their construction process and define a classification method of LJP with 3 different attributes; (2) we summarize 14 evaluation metrics under four categories for different outputs of LJP tasks; (3) we review 12 legal-domain pretrained models in 3 languages and highlight 3 major research directions for LJP; (4) we show the state-of-art results for 8 representative datasets from different court cases and discuss the open challenges. This paper can provide up-to-date and comprehensive reviews to help readers understand the status of LJP. We hope to facilitate both NLP researchers and legal professionals for further joint efforts in this problem.

연구 동기 및 목표

• 데이터셋, 모델, 지표, 과제 측면에서 법적 판결 예측(LJP)에 대한 체계적이고 최신의 종합 검토가 부족한 점을 보완하기 위해.
• 6개 언어에서 운영되는 31개의 공개 LJP 데이터셋을 작업 유형, 법체계, 법률 분야 특성에 따라 분류하고 분석하기 위해.
• 출력 유형(예: 죄명, 처벌)에 따라 분류된 14개의 평가 지표를 요약하고, 벤치마크 간 모델 성능을 평가하기 위해.
• 세 언어에서 운영되는 12개의 법적 분야 전용 사전학습 모델을 검토하고, LJP 분야의 세 가지 주요 연구 방향을 특정하기 위해.
• 데이터 불균형, 해석 가능성, 복잡한 법적 추론과 같은 열린 과제를 부각시키고, 향후 데이터셋과 모델 개선을 위한 제안을 제공하기 위해.

제안 방법

• LJP 작업을 위한 세 가지 속성 분류 프레임워크를 제안함: (1) 작업 유형(예: 죄명 예측, 처벌 예측), (2) 법체계(공법 대 비공법), (3) 법률 분야(예: 형사, 민사, 금융).
• 6개 언어에서 운영되는 31개의 공개 LJP 데이터셋을 체계적으로 검토하여, 데이터 구축 과정, 데이터 출처, 주석 체계를 상세히 기재함.
• 14개의 평가 지표를 정확도, F1 점수, 매크로/마이크로 평균 지표, 다중 레이블 또는 다중 작업 출력을 위한 전용 지표의 네 유형으로 분류함.
• 법률 문헌에 맞춰 미세조정된 12개의 법적 전용 사전학습 모델(BERT, XLNet, Long-BERT, 계층적 BERT 등)을 검토하고, 성능 및 아키텍처 혁신을 분석함.
• 8개의 대표적 데이터셋(CAIL2018, ECHR-CASES, FSCS 등)에서 최신 기술 모델을 평가하여, 베이스라인 모델과 신경망 아키텍처 간 성능을 비교함.
• 실증 분석을 통해 핵심 과제를 특정함: 클래스 불균형, 법체계 간 모델 일반화 능력 부족, 법적 결정의 해석 가능한 추론 필요성.

실험 결과

연구 질문

• RQ1 기존의 LJP 데이터셋은 언어, 법체계, 작업 유형 측면에서 어떻게 분류되며, 그 구축 및 주석 특성은 어떠한가?
• RQ2 다양한 LJP 출력 유형에 가장 효과적인 평가 지표는 무엇이며, 데이터셋과 모델 아키텍처에 따라 어떻게 다를까?
• RQ3 법적 분야 전용 사전학습 모델(BERT 변종 등)은 일반 목적 모델과 전통적 기계학습 기반 베이스라인 모델 대비 LJP 벤치마크에서 어떻게 성능을 내는가?
• RQ4 최신 기술 모델과 인간 전문가 간의 주요 성능 격차는 무엇이며, 데이터 규모, 클래스 불균형 등의 요인이 모델 성능에 어떤 영향을 미치는가?
• RQ5 특히 증거의 적법성, 복잡한 법적 추론, 모델의 해석 가능성 측면에서 LJP 분야의 열린 과제는 무엇이며, 향후 데이터셋과 모델은 이를 어떻게 해결할 수 있는가?

주요 결과

• 특히 Long-BERT와 계층적 BERT와 같은 BERT 기반 아키텍처는 전통적 모델(SVM, 나이브 베이즈 등)과 기본 BERT 모델보다 대부분의 LJP 벤치마크에서 뛰어난 성능을 보이며, 더 큰 데이터셋에서 두드러진다.
• CAIL2018 데이터셋에서 다중 작업 학습(MTL) 모델이 여러 예측 헤드를 결합하여 단일 작업 모델보다 뛰어난 성능을 보여, 관련된 법적 예측을 위한 공동 학습의 이점이 있음을 시사한다.
• 법률 조항과 죄명 예측에 대해 높은 정확도(>90%)를 기록함에도 불구하고, 처벌 조항 예측은 여전히 큰 과제로 남아 있으며, 성능이 낮고 오차 범위가 넓다.
• 도메인 특화 법률 문헌에 맞춰 미세조정된 모델(ECHR-CASES, JUSTICE 등)은 일반 BERT 모델보다 일관되게 뛰어난 성능을 보이며, 법적 사전학습의 중요성을 강조한다.
• 불균형한 레이블 분포가 모델 성능에 악영향을 미치며, 특히 소수 샘플 또는 자원이 부족한 환경(예: 3,000개의 학습 샘플만 있는 이탈리아 LJP 모델)에서는 독일어 및 프랑스어 모델 대비 성능이 열 劣하다.
• 해석 가능한 학습은 여전히 주요 과제로 남아 있다: ILDC에서 최고 성능을 낸 XLNet-BiGRU 모델조차도 법적 전문가가 사용하기에 충분한 설명력을 갖추지 못해, LJP 시스템에서 적응형 해석 가능성의 필요성을 강조한다.