[논문 리뷰] LEXTREME: A Multi-Lingual and Multi-Task Benchmark for the Legal Domain

Joel Niklaus, Veton Matoshi외 4명|arXiv (Cornell University)|2023. 01. 30.

Natural Language Processing Techniques참고 문헌 78인용 수 4

한 줄 요약

LEXTUREME는 24개의 언어와 8개의 언어 가문을 포함하는 11개의 데이터셋을 포함하는 다국어·다작업 벤치마크로, 법적 NLP를 위한 것입니다. 이는 다국어 모델이 법적 텍스트 이해 작업에서 평가되며, 심지어 최상위 모델들이라도 성능이 낮게 나타나 전문화된 법적 NLP 시스템의 필요성을 드러내고, 분야에서 도전적인 새로운 평가 기준을 설정합니다.

ABSTRACT

Lately, propelled by the phenomenal advances around the transformer architecture, the legal NLP field has enjoyed spectacular growth. To measure progress, well curated and challenging benchmarks are crucial. However, most benchmarks are English only and in legal NLP specifically there is no multilingual benchmark available yet. Additionally, many benchmarks are saturated, with the best models clearly outperforming the best humans and achieving near perfect scores. We survey the legal NLP literature and select 11 datasets covering 24 languages, creating LEXTREME. To provide a fair comparison, we propose two aggregate scores, one based on the datasets and one on the languages. The best baseline (XLM-R large) achieves both a dataset aggregate score a language aggregate score of 61.3. This indicates that LEXTREME is still very challenging and leaves ample room for improvement. To make it easy for researchers and practitioners to use, we release LEXTREME on huggingface together with all the code required to evaluate models and a public Weights and Biases project with all the runs.

연구 동기 및 목표

• 비영어 언어, 특히 영어 외 언어에 대한 다국어 벤치마크 부족 문제를 해결하기 위해.
• 다양한 언어적 및 법적 체계를 반영하여 법적 언어의 복잡성을 반영하는 표준화되고 도전적인 벤치마크를 만들기 위해.
• 언어 집계 점수와 데이터셋 집계 점수 두 가지 종합 점수를 사용하여 다국어 모델 간 공정한 비교를 가능하게 하기 위해.
• Hugging Face 통합, 공개 랭킹 리스트, Weights and Biases를 통한 완전한 재현 가능성을 제공하는 공개적이고 투명한 평가 플랫폼을 제공하기 위해.
• 기존 모델, 특히 ChatGPT와 같은 대규모 언어 모델이 법적 NLP 작업에서 가지는 한계를 입증하기 위해.

제안 방법

• 저자들은 문헌(2010–2022)에서 기존의 11개의 법적 NLP 데이터셋을 선별하여, 8개의 언어 가문(Germanic, Romance, Slavic 등)에 속하는 24개의 언어를 포함했습니다.
• 두 가지 종합 평가 지표인 언어 집계 점수와 데이터셋 집계 점수를 정의하였으며, 다양한 설정에서의 성능를 균형 있게 반영하기 위해 조화 평균을 사용했습니다.
• 5개의 다국어 트랜스포머 기반 모델(mBERT, XLM-RoBERTa, DeBERTa 등)을 모든 데이터셋에서 평가하여 기준 성능를 확립했습니다.
• 벤치마크는 Hugging Face에 공개되었으며, 공개 랭킹 리스트와 완전한 평가 코드를 제공하여 재현 가능성과 투명성을 확보했습니다.
• 모든 모델 실행 기록을 로깅하기 위해 Weights and Biases 프로젝트를 구축하여, 완전한 감사 가능성과 비교 가능성 확보했습니다.
• 데이터셋 컬렉션은 문장 분류, 명명된 실체 인식, 법적 판결 예측 등 다양한 법적 작업을 포함하며, 입력은 짧은 문장에서 전체 법적 문서까지 다양합니다.

실험 결과

연구 질문

• RQ1 다양한 법적 언어와 법적 텍스트 유형에서 다국어 모델의 성능는 어떻게 되는가?
• RQ2 기존의 다국어 모델, 특히 ChatGPT와 같은 대규모 LLM이 법적 NLP 작업에 얼마나 일반화되는가?
• RQ3 고자원과 저자원 법적 언어 환경 간의 성능 격차는 어느 정도인가?
• RQ4 기존의 벤치마크는 장거리 의존성과 도메인 특화 용어를 포함한 법적 언어의 복잡성을 충분히 반영할 수 있는가?
• RQ5 모델 크기와 아키텍처가 다국어 환경에서 법적 NLP 작업 성능에 어떤 영향을 미치는가?

주요 결과

• 기준 모델 중 가장 뛰어난 성능를 보인 XLM-RoBERTa-large 모델은 언어 집계 점수 60.0과 데이터셋 집계 점수 60.0을 기록하여 향후 향상 여지가 크다는 것을 시사합니다.
• 심지어 최고의 모델들인 XLM-RoBERTa-large와 mDeBERTa-v3-base도 여러 작업에서 마이크로-F1이 80% 이하로 나타나 법적 텍스트 이해에 지속적인 과제가 있음을 보여줍니다.
• ChatGPT는 LEXTREME의 여러 작업에서 특히 저자원 언어에서 어려움을 겪어, 법적 추론 능력에 한계가 있음을 시사합니다.
• 모델 크기와 성능 사이에 강한 상관관계가 관찰되었으며, 모든 언어와 작업에서 더 큰 모델이 더 작은 모델보다 뚜렷이 뛰어난 성능를 보였습니다.
• 데이터셋 간 입력 시퀀스 길이의 분포를 분석한 결과, 많은 법적 문서가 일반적인 NLP 입력 길이를 초과함을 확인하여, 법적 NLP에서 장기적 맥락 모델링의 필요성을 강조합니다.
• 벤치마크는 현재의 다국어 모델이 특히 저자원 언어에서 법적 도메인 전이에 취약하다는 점을 드러내며, 도메인 특화 미세조정과 데이터 수집의 필요성을 강조합니다.