[논문 리뷰] LeXFiles and LegalLAMA: Facilitating English Multinational Legal Language Model Development

Ilias Chalkidis, Nicolas Garneau외 3명|arXiv (Cornell University)|2023. 05. 12.

Artificial Intelligence in Law인용 수 4

한 줄 요약

이 논문은 6개의 법체계(EU, UK, US, 캐나다, 인도, CoE)를 아우르는 총 190억 토큰에 이르는 다양한 다국적 영어 법학 문헌 코퍼스인 LeXFiles와 사전 훈련된 언어 모델의 법학 지식을 평가하기 위한 프로빙 벤치마크인 LegalLAMA를 소개한다. 저자들은 LeXFiles에 맞춰 미세조정된 두 개의 새로운 법학 전이 학습 모델(LexLMs)을 공개하고, 상游의 마스킹 언어 모델링 성능과 법학 개념에 대한 프로빙 성능가 다운스트림 성능(LexGLUE)과 강하게 상관됨을 보여, 효과적인 법학 NLP 모델을 위해 도메인 특화 사전 훈련과 획득한 법학 지식의 중요성을 입증한다.

ABSTRACT

In this work, we conduct a detailed analysis on the performance of legal-oriented pre-trained language models (PLMs). We examine the interplay between their original objective, acquired knowledge, and legal language understanding capacities which we define as the upstream, probing, and downstream performance, respectively. We consider not only the models' size but also the pre-training corpora used as important dimensions in our study. To this end, we release a multinational English legal corpus (LeXFiles) and a legal knowledge probing benchmark (LegalLAMA) to facilitate training and detailed analysis of legal-oriented PLMs. We release two new legal PLMs trained on LeXFiles and evaluate them alongside others on LegalLAMA and LexGLUE. We find that probing performance strongly correlates with upstream performance in related legal topics. On the other hand, downstream performance is mainly driven by the model's size and prior legal knowledge which can be estimated by upstream and probing performance. Based on these findings, we can conclude that both dimensions are important for those seeking the development of domain-specific PLMs.

연구 동기 및 목표

• 다양한 법체계와 서브코퍼스를 아우르는 법학 전이 학습 모델의 종합적 평가 부족을 해결하기 위해.
• 상우 사전 훈련 목표, 법학 개념에 대한 프로빙 성능, 다운스트림 작업 성능 간의 상호작용을 조사하기 위해.
• 향후 연구를 지원하기 위해 대규모 다국적 영어 법학 코퍼스(LeXFiles)와 법학 지식 프로빙 벤치마크(LegalLAMA)를 개발하고 공개하기 위해.
• LeXFiles에 기반해 훈련하고 기존 모델들과 비교하여 LegalLAMA 및 LexGLUE에서 성능을 평가한 새로운 법학 전이 학습 모델(LexLMs)을 훈련하고 평가하기 위해.
• 모델 크기, 사전 훈련 코퍼스의 다양성, 법학 지식 습득이 다운스트림 법학 NLP 성능에 기여하는 비율을 규명하기 위해.

제안 방법

• 저자들은 6개의 영어 사용 법체계에서 11개의 서브코퍼스를 포함하는 580만 건의 문서로 구성된 다국적 법학 코퍼스인 LeXFiles를 구축하였으며, 총 약 190억 토큰에 이른다.
• 저자들은 다양한 법체계와 주제에서 법학 용어, 판례, 법령 조항에 대한 모델 지식을 평가하는 8개의 서브작업을 포함한 프로빙 벤치마크인 LegalLAMA를 공개하였다.
• RoBERTa-base 및 RoBERTa-large 모델을 LeXFiles에서 추가로 100만 단계 더 사전 훈련하여 두 개의 새로운 법학 전이 학습 모델(LexLMs)을 훈련하였다.
• 저자들은 LeXFiles 서브코퍼스와 LegalLAMA 작업에서 7개의 전이 학습 모델을 평가하였으며, 상우(MLM), 프로빙(지식 습득), 다운스트림(LexGLUE) 성능를 측정하였다.
• 상우, 프로빙, 다운스트림 성능 간의 상관관계를 분석하여 상우 및 프로빙 점수가 다운스트림 성공 여부를 예측하는 데 얼마나 유용한지 평가하였다.
• 선택된 LexGLUE 작업에 대해 미세조정을 적용하여 전이 성능를 평가하고 사전 훈련이 다운스트림 일반화에 기여하는 역할을 검증하였다.

실험 결과

연구 질문

• RQ1 LeXFiles 코퍼스 내에서 다양한 법체계와 서브코퍼스 간에 법학 전이 학습 모델의 성능는 어떻게 달라지나?
• RQ2 상우 마스킹 언어 모델링 성능가 다운스트림 법학 NLP 작업 성능를 얼마나 잘 예측할 수 있는가?
• RQ3 법학 전이 학습 모델은 법학 지식 프로빙 작업에 얼마나 잘 일반화되는가? 이는 모델이 습득한 법학 지식에 대해 무엇을 드러내는가?
• RQ4 모델 크기와 사전 훈련 코퍼스의 다양성 간에 다운스트림 성능에 기여하는 비율은 각각 얼마인가?
• RQ5 상우 및 프로빙 성능는 법학 NLP에서 다운스트림 성능 예측을 위한 신뢰할 수 있는 대체 지표가 될 수 있는가?

주요 결과

• 상우 마스킹 언어 모델링 성능가 법학 개념에 대한 프로빙 성능와 강하게 상관되며, 이는 다양한 법학 코퍼스에 사전 훈련된 모델이 체계적인 법학 지식을 습득한다는 것을 시사한다.
• LexGLUE에서의 다운스트림 성능는 주로 모델 크기와 이전의 법학 지식에 의해 결정되며, 이는 상우 및 프로빙 성능를 통해 추정할 수 있다.
• LeXFiles 코퍼스는 총 190억 토큰을 포함하며, 11개의 서브코퍼스로 구성되어 있으며, 미국 판례(총 토큰의 59.2%)와 미국 계약(27.3%)이 가장 큰 비중을 차지하여 기존 법학 코퍼스에 미국 편향이 뚜렷하다는 것을 반영한다.
• LegalLAMA는 법학 용어, 판례, 법령 조항을 다루는 8개의 프로빙 서브작업을 포함하며, 마스크된 용어는 ECHR 및 미국 형법 등 주요 법령 문서에서 유래되었다.
• LexGLUE 작업에 대해 미세조정된 모델들은 상우 및 프로빙 성능가 다운스트림 성공 여부를 강력하게 예측함을 보여, 사전 훈련 기간 동안의 지식 습득이 전이 성능의 핵심 결정 요소임을 시사한다.
• LeXFiles에 기반해 사전 훈련된 LexLMs의 공개는 다국적 법체계를 더 잘 반영한 법학 전이 학습 모델 훈련 및 평가를 위한 새로운 기준을 제공한다.