[논문 리뷰] ParaLaw Nets -- Cross-lingual Sentence-level Pretraining for Legal Text Processing

Ha-Thanh Nguyen, Vu Tran외 7명|arXiv (Cornell University)|2021. 06. 25.

Topic Modeling참고 문헌 12인용 수 8

한 줄 요약

이 논문은 일본어와 영어의 병렬 법령 텍스트를 활용하여 의미 모호성을 감소시키는 법적 텍스트 처리를 위한 다국어 문장 수준 사전학습 프레임워크인 ParaLaw Nets를 제안한다. 부정 규칙을 통한 데이터 증강과 함께 정렬된 문장 쌍을 기반으로 훈련함으로써, COLIEE-2021 법적 질문-답변 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, NFSP Base 모델은 블라인드 테스트 세트에서 60.49%의 정확도를 기록하였다.

ABSTRACT

Ambiguity is a characteristic of natural language, which makes expression ideas flexible. However, in a domain that requires accurate statements, it becomes a barrier. Specifically, a single word can have many meanings and multiple words can have the same meaning. When translating a text into a foreign language, the translator needs to determine the exact meaning of each element in the original sentence to produce the correct translation sentence. From that observation, in this paper, we propose ParaLaw Nets, a pretrained model family using sentence-level cross-lingual information to reduce ambiguity and increase the performance in legal text processing. This approach achieved the best result in the Question Answering task of COLIEE-2021.

연구 동기 및 목표

• 다국어 문장 수준의 정렬을 활용하여 법적 텍스트 처리에서 의미 모호성을 해소하기 위해.
• 다국어 사전학습을 통해 법적 NLP 작업에서 제로샷 및 피처샷 일반화를 향상시키기 위해.
• 일본어 법적 텍스트의 복잡한 부정을 처리할 수 있는 강력한 사전학습 전략을 개발하기 위해.
• COLIEE-2021과 같은 법적 벤치마크 데이터셋에서 다국어 문장 수준 사전학습의 효과를 평가하기 위해.
• 문장 수준의 병렬 데이터가 단어 수준 또는 문서 수준 정렬을 초월하여 모델의 이해력을 향상시킨다는 것을 입증하기 위해.

제안 방법

• 모델은 일본 민법과 그 영어 번역본의 병렬 문장에서 사전학습되며, 정렬된 문장 쌍을 통해 의미 일관성을 강제한다.
• 데이터 증강은 부정 규칙을 통해 적용된다: 각 유효한 문장에 대해 레이블이 반전된(무효화된) 버전이 생성되어 훈련 다양성이 증가한다.
• 일본어 데이터에 대해 커리큘럼 학습 전략을 사용한다: 전체 데이터셋 훈련 이전에 처음 세 개의 부정 규칙만으로 초기 훈련을 수행하여 수렴 안정성을 확보한다.
• 여섯 개의 모델(BERT Multilingual, XLM-RoBERTa, NFSP, NMSP 변형(베이스 및 디스틸리드))을 사용하여 법적 유효성 분류 작업에서 접근법을 평가한다.
• 원천 및 대상 문장을 함께 인코딩하여 공유된 의미 표현을 학습함으로써 다국어 문장 수준 사전학습을 구현한다.
• COLIEE-2021 법적 질문-답변 데이터셋에서 미세조정을 수행하며, 모델 성능은 블라인드 테스트 세트 정확도로 측정된다.

실험 결과

연구 질문

• RQ1 문장 수준의 다국어 사전학습이 단언어 또는 단어 수준 정렬 방법에 비해 법적 텍스트 이해에서 모호성을 줄이는가?
• RQ2 부정 규칙을 통한 데이터 증강이 법적 텍스트 분류 작업에서 모델의 강건성을 향상시키는가?
• RQ3 왜 디스틸리드 모델과 XLM-RoBERTa 모델은 일본어 법적 데이터에서 수렴하지 못하는가, 반면 NFSP와 NMSP 모델은 성공하는가?
• RQ4 병렬 법적 문장에서의 사전학습이 후속 법적 NLP 작업에서 제로샷 또는 피처샷 성능을 향상시키는가?
• RQ5 문법적 및 형태학적 복잡성이 다를 수 있는 언어 쌍(예: 영어와 일본어) 간에서 모델 성능이 얼마나 일반화되는가?

주요 결과

• NFSP Base 모델은 COLIEE-2021 블라인드 테스트 세트에서 60.49%의 정확도를 기록하여, 제출된 모든 다른 시스템을 능가하였다.
• NMSP Base 모델은 55.56%의 정확도를 기록하여 2위를 차지하였으며, BERT Multilingual는 46.91%를 기록하여 제안된 다국어 접근 방식의 우수성을 입증하였다.
• NFSP와 NMSP의 디스틸리드 변형은 수렴하지 못했으며, 정확도가 52% 이하에 머물렀다. 이는 이 특정 다국어 환경에서는 지식 증류가 효과적이지 않음을 시사한다.
• XLM-RoBERTa와 디스틸리드 모델은 약 0.7 주변에서 안정성 없는 손실 값 변동을 보이며, 일본어 법적 데이터에서 학습 역학이 열악함을 나타냈다.
• BERT Multilingual 모델은 XLM-RoBERTa보다 더 나은 수렴을 보였지만, 여전히 NFSP와 NMSP에 비해 성능이 열등하여 문장 수준의 다국어 사전학습의 이점을 입증하였다.
• 커리큘럼 학습 전략은 일본어 데이터 훈련에 필수적이었으며, 모든 부정 규칙을 포함한 전체 데이터셋 훈련은 수렴하지 못했고, 이는 일본어 부정 패턴의 높은 복잡성 때문임을 시사한다.