[논문 리뷰] Dependency Learning for Legal Judgment Prediction with a Unified Text-to-Text Transformer

Yunyun Huang, Xiaoyu Shen외 3명|arXiv (Cornell University)|2021. 12. 13.

Artificial Intelligence in Law인용 수 12

한 줄 요약

이 논문은 T5 기반의 통합 텍스트-투-텍스트 Transformer를 제안하여 법적 판결 예측을 수행하며, 자동회귀적 생성을 통해 하위 작업(법조항, 죄명, 처벌) 간의 종속성을 모델링한다. 일반 도메인 텍스트로 미리 훈련된 모델임에도 불구하고 도메인 특화 모델 및 SOTA 방법을 뛰어넘으며, 특히 저빈도 레이블에서 뛰어난 성능을 발휘한다. 동시에 법원 시각 및 조항 내용 생성과 같은 보조 작업을 통해 예측의 해석 가능성을 높인다.

ABSTRACT

Given the fact of a case, Legal Judgment Prediction (LJP) involves a series of sub-tasks such as predicting violated law articles, charges and term of penalty. We propose leveraging a unified text-to-text Transformer for LJP, where the dependencies among sub-tasks can be naturally established within the auto-regressive decoder. Compared with previous works, it has three advantages: (1) it fits in the pretraining pattern of masked language models, and thereby can benefit from the semantic prompts of each sub-task rather than treating them as atomic labels, (2) it utilizes a single unified architecture, enabling full parameter sharing across all sub-tasks, and (3) it can incorporate both classification and generative sub-tasks. We show that this unified transformer, albeit pretrained on general-domain text, outperforms pretrained models tailored specifically for the legal domain. Through an extensive set of experiments, we find that the best order to capture dependencies is different from human intuitions, and the most reasonable logical order for humans can be sub-optimal for the model. We further include two more auxiliary tasks: court view generation and article content prediction, showing they can not only improve the prediction accuracy, but also provide interpretable explanations for model outputs even when an error is made. With the best configuration, our model outperforms both previous SOTA and a single-tasked version of the unified transformer by a large margin.

연구 동기 및 목표

• 이전 방법들이 법적 판결 하위 작업을 독립적 또는 암묵적으로 공유하는 방식으로 다루는 데서 비롯되는 한계를 해결하기 위해, 이러한 작업들 간의 명시적 종속성을 모델링하기 위해.
• 분류 및 생성 하위 작업을 모두 지원하는 단일 통합 아키텍처를 개발하여 전체 가중치 공유를 가능하게 하기 위해.
• 저빈도 레이블에서의 성능 향상과 희소한 샘플 설정에서의 일반화 능력을 향상시키기 위해, 이전 모델들이 지속적으로 과적합하는 문제를 해결하기 위해.
• 예측의 해석 가능성을 높이기 위해 보조 작업(법원 시각 및 조항 내용 생성)을 도입하여 설명 트레이스를 제공하기 위해.
• 의존성 학습을 위한 하위 작업 순서의 최적화를 조사하며, 인간의 직관적 논리 순서에 도전하기 위해.

제안 방법

• 모델는 각 하위 작업을 복원해야 할 마스크된 스펙트럼으로 간주하는 통합 T5 기반 텍스트-투-텍스트 Transformer를 사용한다.
• 하위 작업들은 특정 자동회귀적 순서로 예측되며, 이는 순차적 생성을 통해 종속성을 학습할 수 있도록 한다.
• 원본 법적 판결 문서의 구조를 의미적 프롬프트로 사용하여 T5의 미리 훈련된 목표와 일치시킨다.
• 예측 성능 향상과 설명 트레이스 제공을 위해 법원 시각 생성 및 법조항 내용 예측과 같은 보조 작업을 공동으로 훈련한다.
• 모든 하위 작업 간에 전체 가중치 공유를 활용하여, 작업별 전용 헤드를 제거하고 모델 복잡도를 감소시킨다.
• 추론 과정에서는 생성된 시퀀스를 분류 레이블로 매핑하여 평가함으로써 종단 간 단순성을 유지한다.

실험 결과

연구 질문

• RQ1 법적 판결 예측에서 하위 작업 종속성 학습을 위한 최적의 순서는 무엇이며, 인간의 논리적 직관과 일치하는가?
• RQ2 단일 통합 텍스트-투-텍스트 Transformer가 분류 및 생성 작업을 효과적으로 모델링하면서도 가중치를 공유할 수 있는가?
• RQ3 보조 작업과의 공동 훈련이 법적 판결 예측의 정확도와 해석 가능성 모두를 향상시키는가?
• RQ4 희소 샘플 설정에서 모델의 성능은 어떠한가, 특히 저빈도 레이블에서의 성능는 어떻게 되는가?
• RQ5 예측이 잘못되었을 경우에도 보조 출력을 통해 설명을 생성할 수 있는가?

주요 결과

• 통합 텍스트-투-텍스트 Transformer는 이전의 SOTA 모델과 동일한 아키텍처의 단일 작업 버전을 모두 능가하며, 특히 마크로-F1에서 뛰어난 성능을 보여, 저빈도 레이블에서의 강력한 일반화 능력을 입증한다.
• 희소 샘플 학습에서 뛰어난 성능을 발휘하여, 수백 개의 학습 예시로도 잘 일반화된다.
• 모델의 최적의 하위 작업 순서는 인간의 논리적 직관과 다름을 보이며, 모델은 논리적 순서보다 오류 전파를 최소화하는 것을 우선시한다.
• 법원 시각 생성은 정확도 향상 외에도 오류가 발생했을 경우에도 예측에 대한 설명 가능한 근거를 제공한다.
• 법조항 내용 예측은 조항 예측 성능을 크게 향상시키며, 전용 텍스트 매칭 모델보다 정확도는 높고, 속도는 수백 배 빠르다.
• 보조 작업을 통한 설명 생성 능력은 투명하고 신뢰할 수 있는 법적 AI 시스템을 향한 길을 제시한다.