[논문 리뷰] Legal Transformer Models May Not Always Help

Saibo Geng, Rémi Lebret외 1명|arXiv (Cornell University)|2021. 09. 14.

Topic Modeling참고 문헌 15인용 수 5

한 줄 요약

이 논문은 법적 NLP에서 도메인 적응형 사전 훈련과 어댑터의 효과성을 조사하며, 도메인 적응형 모델인 LegalRoBERTa가 자원이 적은 작업에서만 성능 향상이著명하다는 것을 발견한다. 어댑터는 훨씬 낮은 훈련 비용으로 전체 미세조정과 유사한 성능을 달성함을 보여주며, 정제된 법적 문헌으로 사전 훈련된 RoBERTa 기반 모델인 LegalRoBERTa를 공개한다.

ABSTRACT

Deep learning-based Natural Language Processing methods, especially transformers, have achieved impressive performance in the last few years. Applying those state-of-the-art NLP methods to legal activities to automate or simplify some simple work is of great value. This work investigates the value of domain adaptive pre-training and language adapters in legal NLP tasks. By comparing the performance of language models with domain adaptive pre-training on different tasks and different dataset splits, we show that domain adaptive pre-training is only helpful with low-resource downstream tasks, thus far from being a panacea. We also benchmark the performance of adapters in a typical legal NLP task and show that they can yield similar performance to full model tuning with much smaller training costs. As an additional result, we release LegalRoBERTa, a RoBERTa model further pre-trained on legal corpora.

연구 동기 및 목표

• 기본 모델과 비교해 도메인 적응형 사전 훈련이 법적 NLP 작업 성능에 향상되는지 평가하는 것.
• 도메인 적응형 사전 훈련의 이점과 최종 작업 데이터 크기 간의 관계를 조사하는 것.
• 법적 NLP에서 전체 미세조정의 효율적 대안으로 어댑터의 성능을 평가하는 것.
• 정제된 법적 문헌 코퍼스로 사전 훈련한 새로운 법적 전용 RoBERTa 모델인 LegalRoBERTa를 공개하는 것.
• 법적 NLP 애플리케이션에서 도메인 적응형 사전 훈련이 진정으로 유익한 조건을 규명하는 것.

제안 방법

• Caselaw Access Project, Google Patents, 특허 소송 문서 등을 포함한 공공 법적 텍스트 4.9GB를 수집하고 정제하였다.
• 이 법적 코퍼스를 기반으로 마스크된 언어 모델링을 사용하고 도메인 특화 하이퍼파라미터를 적용해 RoBERTa 모델을 사전 훈련하여 LegalRoBERTa를 구축하였다.
• 법적 텍스트 분류 및 케이스 검색이라는 두 가지 법적 NLP 작업에서 기초 BERT 및 RoBERTa와 비교해 LegalRoBERTa 및 기타 법적 모델(예: LegalBERT)을 벤치마킹하였다.
• 법적 텍스트 분류 작업에서 훈련 데이터 크기를 체계적으로 변화시켜 데이터 부족이 도메인 적응형 사전 훈련 성과에 미치는 영향을 평가하였다.
• Transformer 레이어에 삽입된 소형 훈련 가능한 신경 모듈인 어댑터를 구현하고 평가하였으며, 전체 미세조정과의 성능 및 훈련 비용을 비교하였다.
• 표준 평가 지표(Precision, Recall, F1, R@5, P@5, RP@5, NDCG@5)를 사용해 다양한 모델과 설정에서 검색 및 분류 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 법적 코퍼스를 사용한 도메인 적응형 사전 훈련이 표준 사전 훈련 모델과 비교해 법적 NLP 작업 성능에 유의미한 향상을 가져오는가?
• RQ2 도메인 적응형 사전 훈련의 이점은 최종 작업 훈련 데이터 크기에 따라 어떻게 변화하는가?
• RQ3 어댑터 기반 미세조정은 전체 모델 미세조정과 유사한 성능을 달성하면서도 훈련 비용과 스토리지 요구량을 줄일 수 있는가?
• RQ4 법적 텍스트 분류 및 검색 작업에서 기초 RoBERTa 또는 BERT보다 LegalRoBERTa를 사용할 경우 측정 가능한 성능 향상이 있는가?
• RQ5 법적 NLP 애플리케이션에서 연구자들이 표준 모델 대비 도메인 적응형 모델을 선택해야 할 조건은 무엇인가?

주요 결과

• 법적 코퍼스를 사용한 도메인 적응형 사전 훈련은 자원이 적은 최종 작업에서만 유의미한 성능 향상을 가져오며, 자원이 많은 작업에서는 미미한 향상에 그친다.
• LegalRoBERTa가 자원이 적은 텍스트 분류 및 검색 작업에서 기초 RoBERTa 및 BERT를 능가했으며, LMTC 작업에서 F1 점수 0.72, 케이스 검색에서 NDCG@5 0.80를 기록했다.
• LegalBERT는 동일한 검색 작업에서 LegalRoBERTa(0.72)보다 높은 F1(0.73)을 기록했지만, 둘 다 기초 RoBERTa(F1: 0.74)와 BERT(F1: 0.71)를 능가했다.
• 어댑터는 전체 미세조정과 유사한 성능를 달성했다: LMTC 작업에서 어댑터 기반 모델은 전체 미세조정 모델과 동일한 F1(0.72) 및 NDCG@5(0.80)를 기록했다.
• 최종 훈련 데이터가 많을 경우 도메인 적응형 사전 훈련의 성능 향상은 무시할 만큼 작지만, 데이터가 부족할 경우 상당한 향상이 있었으며, 이는 강한 데이터 크기 의존성임을 확인했다.
• LegalBERT보다 더 적은 훈련 데이터를 사용했음에도 불구하고 LegalRoBERTa가 유사한 성능을 달성했으며, 이는 집중된 법적 코퍼스로 효율적인 사전 훈련이 가능하다는 것을 시사한다.