[논문 리뷰] When Does Pretraining Help? Assessing Self-Supervised Learning for Law and the CaseHOLD Dataset

Lucia Zheng, Neel Guha외 3명|arXiv (Cornell University)|2021. 04. 18.

Artificial Intelligence in Law참고 문헌 44인용 수 14

한 줄 요약

이 논문은 미국 판례법에서의 법적 결정(legal holding)을 식별하는 다중 선택 문제 53,000개 이상을 포함한 벤치마크 데이터셋인 CaseHOLD을 소개하며, 350만 건의 법률 판결에 대해 도메인 특화 미사전훈련을 수행한 결과, 일반 BERT보다 7.2% F1 점수 향상이라는 상당한 성능 향상을 이끌어내었고, 이는 어려운 도메인 특화 작업에서만 발생함을 보여준다. 본 연구는 법률 NLP 분야에서의 성능 향상이 미미한 이유를 해결하며, 미사전훈련 코퍼스와 작업의 난이도 및 도메인 특화성 간의 일치가 가장 효과적임을 밝힌다.

ABSTRACT

While self-supervised learning has made rapid advances in natural language processing, it remains unclear when researchers should engage in resource-intensive domain-specific pretraining (domain pretraining). The law, puzzlingly, has yielded few documented instances of substantial gains to domain pretraining in spite of the fact that legal language is widely seen to be unique. We hypothesize that these existing results stem from the fact that existing legal NLP tasks are too easy and fail to meet conditions for when domain pretraining can help. To address this, we first present CaseHOLD (Case Holdings On Legal Decisions), a new dataset comprised of over 53,000+ multiple choice questions to identify the relevant holding of a cited case. This dataset presents a fundamental task to lawyers and is both legally meaningful and difficult from an NLP perspective (F1 of 0.4 with a BiLSTM baseline). Second, we assess performance gains on CaseHOLD and existing legal NLP datasets. While a Transformer architecture (BERT) pretrained on a general corpus (Google Books and Wikipedia) improves performance, domain pretraining (using corpus of approximately 3.5M decisions across all courts in the U.S. that is larger than BERT's) with a custom legal vocabulary exhibits the most substantial performance gains with CaseHOLD (gain of 7.2% on F1, representing a 12% improvement on BERT) and consistent performance gains across two other legal tasks. Third, we show that domain pretraining may be warranted when the task exhibits sufficient similarity to the pretraining corpus: the level of performance increase in three legal tasks was directly tied to the domain specificity of the task. Our findings inform when researchers should engage resource-intensive pretraining and show that Transformer-based architectures, too, learn embeddings suggestive of distinct legal language.

연구 동기 및 목표

• 법률 언어의 독특함에도 불구하고 도메인 특화 미사전훈련에서 성능 향상이 미미한 이유를 설명하기 위해.
• 핵심 법률 작업인 인용된 판례의 법적 결정을 식별하는 데 반영된 어려운 새로운 벤치마크 데이터셋을 개발하기 위해.
• 법률 NLP 작업에서 일반 미사전훈련 대비 도메인 특화 미사전훈련이 언제이고 왜 상당한 성능 향상을 이끌어내는지 평가하기 위해.
• 연구자들이 비용이 많이 드는 도메인 특화 미사전훈련에 투자할지 여부를 판단하는 데 도움이 되는 실용적 힌트를 제공하기 위해 — 도메인 특화도 점수(DS 점수)를 제안한다.
• Transformer 모델이 법률 언어를 학습할 수 있으며, 도메인 특화 미사전훈련이 과학 및 생물의학 NLP 분야에서 관찰된 성능 향상과 유사한 성과를 낼 수 있음을 보여주기 위해.

제안 방법

• 법률 인용 규칙과 의미 매칭을 사용해 미국 판례 인용문에서 결정 문장을 추출하여 다중 선택 문제를 생성함으로써 CaseHOLD를 구축함.
• 사용자 정의 법률 어휘를 사용해 미국 연방 및 주 법원의 350만 건의 판결 코퍼스를 기반으로 BERT 기반 모델을 미사전훈련함.
• CaseHOLD(결정 식별), Overruling(인용에 의한 취소 여부 탐지), Terms of Service(계약 분류)의 세 가지 법률 NLP 작업에 대해 도메인 특화 미사전훈련 모델을 미세조정함.
• F1 점수를 측정하고 일반 미사전훈련(Google Books + Wikipedia)과 도메인 특화 미사전훈련 간의 성능 향상을 비교함.
• 각 작업의 도메인 특화도와 성능 향상 정도의 상관관계를 분석하기 위해 도메인 특화도(DS) 점수를 계산함.
• 성능 하한선을 확보하고 미사전훈련의 상대적 성과 향상을 평가하기 위해 BiLSTM 베이스라인을 사용함.

실험 결과

연구 질문

• RQ1 어떤 조건에서 도메인 특화 미사전훈련이 법률 NLP에서 상당한 성능 향상을 이끌어내는가?
• RQ2 법률 언어의 독특함에도 불구하고 이전의 법률 언어 모델 미사전훈련 시도에서 성능 향상이 미미한 이유는 무엇인가?
• RQ3 법률 NLP 분야에서 새로운 어려운 벤치마크 작업이 이전에 드러나지 않았던 도메인 특화 미사전훈련의 이점을 드러낼 수 있는가?
• RQ4 작업의 도메인 특화도가 도메인 특화 미사전훈련의 성능 향상 정도와 어떻게 관련이 있는가?
• RQ5 간단한 지표인 도메인 특화도(DS) 점수는 연구자들이 비용이 많이 드는 도메인 특화 미사전훈련에 투자할지 여부를 결정하는 데 도움이 될 수 있는가?

주요 결과

• 350만 건의 판결 코퍼스에 대해 도메인 특화 미사전훈련을 수행한 결과, CaseHOLD 벤치마크에서 일반 BERT 대비 7.2%p의 절대 F1 점수 향상이 발생했으며, 이는 상대적 12% 향상에 해당함.
• 이번 연구에서 기록된 바에 비추어 볼 때, CaseHOLD에서의 성능 향상은 법률 NLP 분야에서 기록된 바 가장 큰 성과이며, SciBERT 및 BioBERT에서 관찰된 성능 향상과 유사함.
• Overruling과 같은 쉬운 작업에서는 일반 미사전훈련(BERT)이 BiLSTM 기반 모델과 비교해도 F1 ≈ 0.91의 높은 성능을 달성하여, 도메인 특화 미사전훈련의 성능 향상 여유가 거의 없음.
• 도메인 특화 미사전훈련의 성능 향상은 가장 어려우며 도메인 특화도가 높은 작업(CaseHOLD)에서 가장 두드러지며, 덜 특화되거나 쉬운 작업에서는 성과 향상의 감소 추세를 보임.
• 다양한 작업에서의 성능 향상 수준은 도메인 특화도(DS) 점수와 직접적인 상관관계를 보이며, 이는 DS 점수를 도메인 특화 미사전훈련 투자 여부를 판단하는 실용적 힌트로 활용할 수 있음을 검증함.
• 결과는 법률 언어가 Transformer 모델에 의해 학습 가능하며, 도메인 특화 미사전훈련이 법률 텍스트의 고유한 언어 패턴을 효과적으로 포착할 수 있음을 보여줌.