[논문 리뷰] LexGLUE: A Benchmark Dataset for Legal Language Understanding in English

Ilias Chalkidis, Abhik Jana외 5명|arXiv (Cornell University)|2021. 10. 03.

Artificial Intelligence in Law인용 수 4

한 줄 요약

LexGLUE는 기존 데이터셋에서 유래한 일곱 가지 다양한 법적 NLP 작업을 포함하는 표준화된 평가 기준을 제공하는 법적 텍스트에서의 자연어 이해(NLU) 모델 평가를 위한 기준을 도입한다. 이 연구는 법적 최적화 모델이 모든 작업에서 일반 모델보다 뛰어난 성능을 보이며, 법적 NLU 응용 분야에서 도메인 특화 미사전훈련의 중요성을 입증한다.

ABSTRACT

Laws and their interpretations, legal arguments and agreements\ are typically expressed in writing, leading to the production of vast corpora of legal text. Their analysis, which is at the center of legal practice, becomes increasingly elaborate as these collections grow in size. Natural language understanding (NLU) technologies can be a valuable tool to support legal practitioners in these endeavors. Their usefulness, however, largely depends on whether current state-of-the-art models can generalize across various tasks in the legal domain. To answer this currently open question, we introduce the Legal General Language Understanding Evaluation (LexGLUE) benchmark, a collection of datasets for evaluating model performance across a diverse set of legal NLU tasks in a standardized way. We also provide an evaluation and analysis of several generic and legal-oriented models demonstrating that the latter consistently offer performance improvements across multiple tasks.

연구 동기 및 목표

• 다양한 법적 작업에 걸쳐 법적 NLU 모델에 대한 표준화된 평가 프레임워크가 부족한 문제를 해결하기 위해.
• 최신의 일반 목적 NLU 모델이 법적 텍스트로 일반화되는 데 효과적으로 작용하는지 평가하기 위해.
• 일반적인 미사전훈련 대비 법적 특화 미사전훈련이 법적 NLP 작업에서 성능 향상에 기여하는 정도를 평가하기 위해.
• 법적 NLP 분야의 연구자와 전문가들이 사용할 수 있는 통합적이고 접근 가능한 입구를 제공하기 위해.
• 법적 텍스트 이해에 특화된 강력하고 일반화 가능한 NLU 모델의 개발을 촉진하기 위해.

제안 방법

• LexGLUE 기준은 SuperGLUE와 유사한 기준에 따라 선정된 일곱 개의 기존 고품질 법적 NLP 데이터셋에서 구성된다.
• 데이터셋은 텍스트 분류, 시퀀스 레이블링, 자연어 추론, 질의 응답 등 다양한 법적 NLP 작업을 포함한다.
• 기준은 일반 모델(BERT, RoBERTa 등)과 법적 최적화 모델(LawBERT, 법적 용도로 사용하는 BioBERT 등)의 평가를 지원한다.
• 모든 작업에서 표준 평가 지표인 F1, 정확도, 매크로-F1을 사용하여 평가가 수행된다.
• 도메인 특화 미사전훈련의 영향을 분리하기 위해 동일한 기준에서 일반 모델과 법적 도메인 미세조정 모델 간의 체계적 비교가 수행된다.
• 재현성과 공정성을 보장하기 위해 데이터 전처리, 표준화된 훈련/검증/테스트 분할, 공개 평가 서버가 포함되어 있다.

실험 결과

연구 질문

• RQ1 일반적인 미사전훈련된 언어 모델은 다양한 법적 NLP 작업으로 일반화되는 데 효과적으로 작용할 수 있는가?
• RQ2 법적 최적화 모델은 법적 텍스트 이해 작업에서 일반 모델보다 어느 정도 뛰어나게 성능을 내는가?
• RQ3 도메인 특화 미사전훈련은 법적 NLP 작업의 다양한 유형에서 성능에 어떤 영향을 미치는가?
• RQ4 LexGLUE와 같은 통합 기준은 법적 NLP 연구를 위한 신뢰할 수 있고 확장 가능한 평가 플랫폼이 될 수 있는가?
• RQ5 일반 목적 NLU 모델을 법적 텍스트에 적용할 때 발생하는 주요 과제는 무엇이며, 일반 NLP 작업과는 어떻게 다를까?

주요 결과

• LexGLUE 기준의 일곱 가지 작업 전반에서 법적 최적화 모델이 일반 모델보다 일관되게 뛰어난 성능을 보이며, 도메인 특화 미사전훈련의 가치를 입증한다.
• SCOTUS 데이터셋에서는 최고 성능을 기록한 일반 모델(RoBERTa)조차도 법적 최적화 모델에 의해 뚜렷한 F1 점수 격차로 앞서 간다.
• TFIDF-SVM은 기존 결과를 과대평가하게 만드는 코드 오류를 수정한 후, 모든 작업, 특히 SCOTUS 데이터셋에서 딥러닝 모델에 의해 뚜렷이 뒤지게 되었다.
• 기준은 법적 텍스트가 고대어 어휘, 복잡한 문법 구조, 도메인 전용 용어 등 일반 모델이 효과적으로 다루기 어려운 고유한 과제를 지닌다는 점을 드러냈다.
• 학습 데이터 분포와 도메인 일치의 중요성이 강조되었으며, 법적 문헌에서 사전 훈련된 모델가 법적 NLP 작업에서 더 뛰어난 일반화 성능을 보였다.
• LexGLUE 기준은 법적 NLU 모델 평가 및 비교에 신뢰할 수 있고 정보적인 플랫폼으로 입증되었으며, 향후 더 많은 언어와 작업을 포함할 잠재력도 있다.