[논문 리뷰] An Empirical Study on Cross-X Transfer for Legal Judgment Prediction

Joel Niklaus, Matthias Stürmer외 1명|arXiv (Cornell University)|2022. 09. 25.

Artificial Intelligence in Law인용 수 7

한 줄 요약

이 논문은 다국어 스위스 법원 판결 예측(SJP) 데이터셋을 사용하여 법적 판결 예측(LJP) 분야에서 다국어, 다분야, 다법적 영역 간 전이에 대한 최초의 실증 연구를 제시한다. 어댑터 기반 미세조정과 신경 기계 번역(NMT)을 활용한 훈련 데이터 증강 기법을 통해 성능이 크게 향상되었으며, 특히 자원이 적은 언어인 이탈리아어의 경우 이전 연구 대비 16.7% 상대적 향상률을 기록하였다. 또한, 다법적 영역 간 전이와 다지역 간 전이가 모델의 강건성과 전체 정확도를 더욱 향상시켰다.

ABSTRACT

Cross-lingual transfer learning has proven useful in a variety of Natural Language Processing (NLP) tasks, but it is understudied in the context of legal NLP, and not at all in Legal Judgment Prediction (LJP). We explore transfer learning techniques on LJP using the trilingual Swiss-Judgment-Prediction dataset, including cases written in three languages. We find that cross-lingual transfer improves the overall results across languages, especially when we use adapter-based fine-tuning. Finally, we further improve the model's performance by augmenting the training dataset with machine-translated versions of the original documents, using a 3x larger training corpus. Further on, we perform an analysis exploring the effect of cross-domain and cross-regional transfer, i.e., train a model across domains (legal areas), or regions. We find that in both settings (legal areas, origin regions), models trained across all groups perform overall better, while they also have improved results in the worst-case scenarios. Finally, we report improved results when we ambitiously apply cross-jurisdiction transfer, where we further augment our dataset with Indian legal cases.

연구 동기 및 목표

• 법적 판결 예측(LJP)에서 다국어 전이 학습의 효과성을 조사하는 것 — 이는 이전에 다국어 환경에서 탐색되지 않은 과제이다.
• 다분야(법적 분야) 및 다지역(스위스 캔톤) 전이가 다양한 법적 맥락에서 모델의 강건성과 성능을 향상시키는지 평가하는 것.
• 인도의 법적 사례를 훈련 데이터에 통합함으로써 다법적 영역 간 전이의 영향을 평가하고 일반화 능력을 향상시키는 것.
• 언어, 법적 분야, 지리적 지역 간 모델 성능의 표현적 편향을 분석하여 법적 AI 시스템의 공정성과 강건성 향상에 기여하는 것.

제안 방법

• 다국어 BERT 기반 모델을 어댑터 기반 미세조정을 통해 훈련하여, 제로샷 전이 시 다국어 지식의 비일치를 최소화한다.
• 신경 기계 번역(NMT)을 활용해 원본 SJP 훈련 코퍼스를 3배로 증강하여 독일어, 프랑스어, 이탈리아어로의 합성 사례를 생성한다.
• 다양한 법적 분야(민사, 형사, 공공, 사회법)와 지역(스위스 8개 캔톤)의 데이터를 통합해 훈련함으로써 다분야 및 다지역 전이 성능을 평가한다.
• ILDC 데이터셋에서 기계 번역된 10만 건의 인도 법적 사례를 추가로 훈련 데이터로 활용하여 LJP에서의 다법적 영역 간 전이를 탐색한다.
• 표준 평가 지표(F1, 정확도 등)를 사용해 언어, 법적 분야, 지역 간 성능을 평가하여 편향성과 강건성 여부를 분석한다.
• 모델 성능에 영향을 주는 요소(언어, 지역, 법적 분야)를 분리하기 위해 추론 실험을 수행하며, 특히 최악의 상황에서의 성능을 집중 분석한다.

실험 결과

연구 질문

• RQ1 RQ1: 법적 판결 예측에서 다국어 전이가 모든 언어 또는 일부 언어에 유익한가?
• RQ2 RQ2: 다분야(법적 분야) 및 다지역(지역적 영역) 전이가 모델의 강건성과 성능 향상에 기여하는가?
• RQ3 RQ3: 다른 법적 영역(특히 인도의 법적 사례) 데이터를 활용하면 LJP에서 모델 성능이 향상되는가?
• RQ4 RQ4: 언어, 기원 지역, 법적 분야에 따른 표현적 편향이 모델 성능과 공정성에 어떻게 영향을 미치는가?

주요 결과

• NMT를 활용한 증강된 훈련 데이터와 어댑터 기반 미세조정을 통해 자원이 적은 이탈리아어 언어 집합에서 F1 점수에 대해 이전 최고 성능 대비 16.7% 상대적 향상률을 기록하였다.
• 기존 Niklaus 등(2021)의 최고 기준 모델 대비 기계 번역된 사례를 포함한 3배 크기의 훈련 코퍼스를 사용할 경우 전체 모델 성능이 F1 점수 기준 7% 절대 향상되었다.
• 다지역 및 다분야 전이가 일관되게 모델의 강건성을 향상시켰으며, 성능이 열악했던 지역과 법적 분야에서도 성능 향상이 관찰되었다.
• 인도 법적 사례를 활용한 다법적 영역 간 전이로 전체 성능이 2.3% 절대 F1 향상되었고, 특히 이탈리아어 집합에서는 강력한 기준 모델인 NativeBERTs 대비 4.6% 향상되었다.
• 표현적 편향가 성능 격리 원인을 완전히 설명하지 못했으며, 데이터 품질과 분야 특수성 등의 다른 요소들도 중요한 역할을 함을 시사했다.
• 이 연구는 NMT 기반 데이터 증강과 다중 출처 지식 통합 기법이 특히 자원이 적은 환경에서 LJP 모델 성능 향상에 매우 효과적인 전략임을 입증하였다.