[논문 리뷰] One Law, Many Languages: Benchmarking Multilingual Legal Reasoning for Judicial Support
이 논문은 스위스 법적 문서를 포함하는 다국어, 다중 작업 법적 NLP 벤치마크인 SCALE를 소개한다. 이 벤치마크는 장기적 맥락 이해, 도메인 특화 지식, 다국어 추론을 테스트한다. 광범위한 도메인 내 사전학습에도 불구하고, 심지어 대규모 모델들 역시 매크로 F1 스코어 48.4%에 머무르며 법적 추론의 심각한 과제를 드러내며, 실제 사법 응용 분야에서 LLM 능력을 향상시키는 데 벤치마크의 가치를 입증한다.
Recent strides in Large Language Models (LLMs) have saturated many Natural Language Processing (NLP) benchmarks, emphasizing the need for more challenging ones to properly assess LLM capabilities. However, domain-specific and multilingual benchmarks are rare because they require in-depth expertise to develop. Still, most public models are trained predominantly on English corpora, while other languages remain understudied, particularly for practical domain-specific NLP tasks. In this work, we introduce a novel NLP benchmark for the legal domain that challenges LLMs in five key dimensions: processing \emph{long documents} (up to 50K tokens), using \emph{domain-specific knowledge} (embodied in legal texts), \emph{multilingual} understanding (covering five languages), \emph{multitasking} (comprising legal document-to-document Information Retrieval, Court View Generation, Leading Decision Summarization, Citation Extraction, and eight challenging Text Classification tasks) and \emph{reasoning} (comprising especially Court View Generation, but also the Text Classification tasks). Our benchmark contains diverse datasets from the Swiss legal system, allowing for a comprehensive study of the underlying non-English, inherently multilingual legal system. Despite the large size of our datasets (some with hundreds of thousands of examples), existing publicly available multilingual models struggle with most tasks, even after extensive in-domain pre-training and fine-tuning. We publish all resources (benchmark suite, pre-trained models, code) under permissive open CC BY-SA licenses.
연구 동기 및 목표
- 비영어권, 고도로 복잡한 법적 추론 작업을 위한 종합적이고 다국어적이며 도메인 특화된 벤치마크가 부족한 문제를 해결하기 위해.
- 장기적인 법적 문서(최대 50K 토큰)에서 깊이 있는 법적 도메인 이해가 요구되는 현재의 LLM 성능을 평가하기 위해.
- 한 국가 내에서 다섯 가지 언어를 아우르는 단일 법적 체계(스위스)를 통해 교차 언어 전이와 다국어 일반화를 철저히 테스트할 수 있는 벤치마크를 만들기 위해.
- 다양한 사전 학습된 다국어 모델을 평가하고 스위스 법적 모델을 자체적으로 훈련시켜 향후 연구를 위한 강력한 베이스라인을 수립하기 위해.
- 모든 데이터, 모델, 코드를 개방형 CC BY-SA 라이선스 하에 배포하여 법적 NLP 분야의 개방형 연구와 재현 가능성을 촉진하기 위해.
제안 방법
- 벤치마크인 SCALE는 스위스 26개 캔톤과 스위스 연방 최고재판소(FSCS)에서 유래한 일곱 가지 다양한 법적 NLP 데이터셋을 포함한다. 다섯 가지 공식 언어를 다루고 있다.
- 작업에는 텍스트 분류(Criticality Prediction, Judgment Prediction, Law Area Prediction), 정보 검색, 그리고 두 가지 생성 작업인 Court View Generation과 Leading Decision Summarization이 포함되어 있다.
- 저자들은 mBERT, mT5 및 자체 개발한 Legal Swiss RoBERTa와 Legal Swiss Longformer 모델을 포함한 다양한 다국어 사전 학습 모델을 피지테이닝하고 평가한다.
- 평가에는 매크로 F1, BLEU, METEOR, ROUGE, NDCG와 같은 표준 지표를 사용하며, 최대 50K 토큰까지의 장기적 맥락 처리에 중점을 둔다.
- 모델 성능에 대한 도메인 특화 피지테이닝의 영향을 평가하기 위해 스위스 법적 문헌 코퍼스를 기반으로 한 도메인 내 사전학습을 포함한다.
- 모든 자원은 Hugging Face에 CC BY-SA 라이선스 하에 배포되어 있으며, 완전한 재현 가능성과 개방 접근성을 보장한다.
실험 결과
연구 질문
- RQ1현재의 다국어 LLM은 스위스와 같은 복잡한 다법적 법적 맥락에서 다섯 가지 언어 간에 얼마나 잘 일반화할 수 있는가?
- RQ2깊이 있는 추론과 맥락 이해가 요구되는 장기적 법적 문서(최대 50K 토큰)에서 LLM은 얼마나 잘 성능을 내는가?
- RQ3스위스 법적 코퍼스를 기반으로 한 도메인 내 사전학습이 법적 텍스트 분류 및 생성 작업 성능을 크게 향상시킬 수 있는가?
- RQ4왜 심지어 대규모로 피지테이닝된 모델들이라도 Criticality Prediction 및 Citation Extraction과 같은 핵심 법적 작업에서 성능이 떨어지는가?
- RQ5복잡한 법적 추론에 기반한 생성 모델인 mT5와 BERT는 요약 및 법원 시각 생성 작업에서 어떻게 성능을 내는가?
주요 결과
- 가장 성능이 뛰어난 모델도 모든 분류 작업에서 매크로 F1 스코어 48.4%에 머무르며, 법적 추론 향상 여지가 크다는 것을 시사한다.
- ChatGPT는 텍스트 분류 작업에서 뚜렷하게 성능이 열악했으며, 피지테이닝된 모델들보다 훨씬 열등한 성능을 보이며, 제로샷 법적 추론의 한계를 드러낸다.
- Criticality Prediction, 정보 검색, 법원 시각 생성 작업 결과는 특히 열악했으며, 무작위적이고 일관성이 없었다.
- 광범위한 도메인 내 사전학습에도 불구하고, 공개된 다국어 모델들은 대부분의 작업에서 어려움을 겪었으며, 이는 벤치마크의 곤란함을 강조한다.
- Leading Decision Summarization과 같은 생성 작업은 혼합된 결과를 보였다: 일부 출력은 일관성이 있었음(예: BERT 스코어 88.03), 다른 일부는 사실 오류가 있거나 주제에서 벗어났다.
- 벤치마크는 현재의 LLM이 전문적인 법적 환경에서 복잡한 법적 추론, 도메인 특화 용어, 교차 언어 일반화를 다룰 때 견고성이 부족하다는 것을 드러냈다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.