[논문 리뷰] MultiLegalSBD: A Multilingual Legal Sentence Boundary Detection Dataset

Tobias Brugger, Matthias Stürmer외 1명|arXiv (Cornell University)|2023. 05. 02.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 프랑스어, 독일어, 이탈리아어, 스페인어, 영어, 포르투갈어 6개 언어에서 130,000개 이상의 주석이 달린 문장이 포함된 다국어 법적 문장 경계 검출(SBD) 데이터셋인 MultiLegalSBD를 소개한다. 이는 기존의 SBD 모델이 법적 텍스트에서 성능이 열등함을 보여주며, 특히 트랜스포머 기반의 단국어 및 다국어 모델이 다국어 데이터에서 F1 점수 96% 이상, 예측되지 않은 포르투갈어 법적 텍스트에서의 제로샷 평가에서 90% 이상의 최신 기술 수준 성능을 달성함을 보여준다.

ABSTRACT

Sentence Boundary Detection (SBD) is one of the foundational building blocks of Natural Language Processing (NLP), with incorrectly split sentences heavily influencing the output quality of downstream tasks. It is a challenging task for algorithms, especially in the legal domain, considering the complex and different sentence structures used. In this work, we curated a diverse multilingual legal dataset consisting of over 130'000 annotated sentences in 6 languages. Our experimental results indicate that the performance of existing SBD models is subpar on multilingual legal data. We trained and tested monolingual and multilingual models based on CRF, BiLSTM-CRF, and transformers, demonstrating state-of-the-art performance. We also show that our multilingual models outperform all baselines in the zero-shot setting on a Portuguese test set. To encourage further research and development by the community, we have made our dataset, models, and code publicly available.

연구 동기 및 목표

• 법적 텍스트 처리에서 강력한 NLP를 위한 고품질의 다국어 법적 문장 경계 검출(SBD) 데이터셋 부족 문제를 해결하기 위해.
• 복잡한 문장 구조, 약어, 영역 전용 형식화로 인해 기존의 SBD 시스템이 법적 텍스트에서 성능이 열등함을 입증하기 위해.
• CRF, BiLSTM-CRF, 트랜스포머 아키텍처를 사용하여 단국어 및 다국어 SBD 모델을 개발하고 평가하여 법적 문서에서의 성능 향상에 기여하기 위해.
• 예측되지 않은 포르투갈어 법적 텍스트에서의 제로샷 전이 성능을 평가하여 다국어 일반화 능력을 점검하기 위해.
• 연구 공동체의 다국어 법적 NLP 분야 연구 및 개발을 촉진하기 위해 데이터셋, 모델, 코드를 공개하기 위해.

제안 방법

• 프랑스어, 독일어, 이탈리아어, 스페인어, 영어, 포르투갈어 법적 텍스트에서 130,000개 이상의 주석이 달린 다국어 법적 SBD 데이터셋을 정제하였다.
• 모든 언어에 대해 일관성을 우선시하면서 언어 특유의 뉘앙스를 고려하여, 중급 수준의 프랑스어 능력을 지닌 유일한 현지어 독일어 사용자로 주석을 작성하였다.
• CRF, BiLSTM-CRF, 트랜스포머 기반 아키텍처(예: BERT, XLM-RoBERTa)를 사용하여 데이터셋에서 단국어 및 다국어 모델을 훈련 및 평가하였다.
• 모델 일반화를 향상시키기 위해 줄바꿈을 공백으로 대체하고 특수 문자를 정규화하는 표준 NLP 전처리를 적용하였다.
• 다국어 전이 성능를 평가하기 위해 포르투갈어 법적 텍스트에서 제로샷 평가를 실시하였으며, 다양한 모델 유형 간 성능을 비교하였다.
• 하이퍼파라미터 최적화 및 아키텍처 개선을 탐색하였으며, 법적 최적화된 사전 훈련된 모델과 XLM-RoBERTa와 같은 더 큰 다국어 인코더를 활용하였다.

Figure 1. Mean performance comparison of baseline (green) and our multilingual models (violet) on multilingual legal text (French, Italian, Spanish, English, and German) and a zero-shot experiment on Portuguese data

실험 결과

연구 질문

• RQ1 프랑스어, 스페인어, 이탈리아어, 영어, 독일어에서 기존의 SBD 시스템은 법적 텍스트에서 어떤 성능을 보이는가?
• RQ2 CRF, BiLSTM-CRF, 트랜스포머 기반의 단국어 및 다국어 모델을 통해 SBD 성능을 얼마나 향상시킬 수 있는가?
• RQ3 다국어 모델은 예측되지 않은 포르투갈어 법적 텍스트에서 제로샷 설정에서 어떻게 성능을 발휘하는가?
• RQ4 예를 들어 인용, 목록과 같은 문장 구조 유형을 구조화된 레이블링을 통해 모델 성능 향상에 활용할 수 있는가?
• RQ5 다른 언어 가문에서 유래한 언어, 예를 들어 헝가리어처럼, 다국어 전이가 일반화되는가?

주요 결과

• 기존의 SBD 시스템은 다국어 법적 텍스트에서 F1 점수 73.5에서 84.9까지, 포르투갈어에서는 60.1에서 79.5까지 기록하여 법적 분야에서 열등한 성능을 보임을 확인함.
• MultiLegalSBD 데이터셋에서 훈련된 단국어 모델은 프랑스어, 독일어, 이탈리아어, 스페인어, 영어에서 F1 점수 96.4에서 97.7까지의 최신 기술 수준 성능을 달성함.
• 다국어 트랜스포머 모델은 다국어 법적 텍스트에서 F1 점수 96.4에서 97.7까지, 제로샷 포르투갈어 테스트 세트에서는 81.1에서 92.2까지 기록하여 모든 기준 모델을 능가함.
• 다국어 트랜스포머 모델은 포르투갈어 법적 텍스트에서 F1 점수 92.2를 기록하여 CRF 및 BiLSTM-CRF 모델보다 뚜렷이 뛰어나며, 법률 하위세트에서는 기준 수준으로 성능이 저하됨.
• CRF 및 BiLSTM-CRF 모델은 포르투갈어 판결문에서는 양호한 성능(약 90% F1)을 기록하지만, 법적 텍스트에서는 성능이 크게 저하되어 기준 수준으로 떨어짐으로써 제로샷 일반화 능력이 제한됨을 시사함.
• 향후 향상 가능성으로 문장 유형 인식 레이블링, 더 나은 전처리, 법적 최적화된 또는 더 큰 다국어 사전 훈련된 모델(예: XLM-RoBERTa) 사용이 제안됨.

Figure 2. Sentence length distribution in tokens