[논문 리뷰] Billions of Parameters Are Worth More Than In-domain Training Data: A case study in the Legal Case Entailment Task

Guilherme Moraes Rosa, Luiz Bonifacio외 4명|arXiv (Cornell University)|2022. 05. 30.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 30억 파라미터로 확장된 제로샷 언어 모델이 법적 케이스 엔타일먼트 작업에서 성능을 크게 향상시켜 COLIEE 2022 경쟁에서 모든 피인계된 모델과 앙상블보다 뛰어나다는 것을 보여준다. 저자들은 더 큰 모델이 더 작은 모델보다 일반화 능력이 뛰어나다는 점을 입증하며, 특히 도메인 특화 트레이닝 데이터가 부족한 저자원 법적 NLP 환경에서 모델 규모의 가치가 높다는 점을 강조한다.

ABSTRACT

Recent work has shown that language models scaled to billions of parameters, such as GPT-3, perform remarkably well in zero-shot and few-shot scenarios. In this work, we experiment with zero-shot models in the legal case entailment task of the COLIEE 2022 competition. Our experiments show that scaling the number of parameters in a language model improves the F1 score of our previous zero-shot result by more than 6 points, suggesting that stronger zero-shot capability may be a characteristic of larger models, at least for this task. Our 3B-parameter zero-shot model outperforms all models, including ensembles, in the COLIEE 2021 test set and also achieves the best performance of a single model in the COLIEE 2022 competition, second only to the ensemble composed of the 3B model itself and a smaller version of the same model. Despite the challenges posed by large language models, mainly due to latency constraints in real-time applications, we provide a demonstration of our zero-shot monoT5-3b model being used in production as a search engine, including for legal documents. The code for our submission and the demo of our system are available at https://github.com/neuralmind-ai/coliee and https://neuralsearchx.neuralmind.ai, respectively.

연구 동기 및 목표

• 도메인 특화 피인계 없이 대규모 언어 모델을 확장하면 제로샷 성능이 법적 케이스 엔타일먼트 작업에서 향상되는가를 조사하는 것.
• 저자원 법적 NLP 시나리오에서 억 파라미터 모델이 더 작은 모델보다 일반화 능력이 뛰어나지 않는가 평가하는 것.
• 법적 문서 검색을 위한 제로샷 monoT5-3B 모델의 프로덕션 배포 가능성 입증하는 것.
• 다양한 모델 크기 간의 제로샷 성능를 비교하고 법적 엔타일먼트에 최적의 아키텍처를 식별하는 것.
• 제로샷 설정에서 답변 선택 히우리스틱이 최종 예측 품질에 미치는 영향 평가하는 것.

제안 방법

• 저자들은 법적 케이스 엔타일먼트 데이터셋에 대해 어떤 피인계 없이 제로샷 T5 기반 모델(monoT5)을 사용한다.
• 세 가지 모델 크기(베이스: 220M, 라지: 770M, 3B 파라미터: monoT5-3b)를 사용하여 제로샷 설정에서 실험한다.
• 신뢰도 기반 답변 선택 방법을 적용하며, 초모수 α, β, γ를 사용한 가중 점수 규칙을 활용한다.
• 두 모델의 답변을 연결하고 중복을 제거한 후, 신뢰도 임계값 기반으로 가장 높은 점수를 가진 답변을 선택한다.
• monoT5-base와 monoT5-3b 출력을 조합하여 앙상블 예측을 생성함으로써 정확도와 성능을 향상시킨다.
• 시스템은 지연 시간 제약에도 불구하고 실세계 적용 가능성을 입증하기 위해 프로덕션 환경에서 법적 검색 엔진으로 배포되었다.

실험 결과

연구 질문

• RQ1 억 파라미터로 확장된 언어 모델이 더 작은 모델에 비해 법적 케이스 엔타일먼트 작업에서 제로샷 성능을 향상시키는가?
• RQ2 특히 레이블이 부족한 상황에서 제로샷 모델이 법적 도메인에서 피인계된 모델보다 성능이 뛰어나게 되는가?
• RQ3 모델 크기가 제로샷 법적 NLP 작업에서 일반화에 미치는 영향은 무엇이며, 특히 저자원 환경에서 어떻게 작용하는가?
• RQ4 히우리스틱 답변 선택 방법이 제로샷 예측 품질에 얼마나 기여하는가?
• RQ5 대규모 제로샷 모델이 실세계 법적 검색 응용 프로그램에 효과적으로 배포될 수 있는가?

주요 결과

• monoT5-3b-제로샷 모델은 COLIEE 2021 테스트 세트에서 F1 스코어 0.7477을 기록하여 2022년 경쟁에서 모든 단일 모델과 앙상블보다 뛰어났다.
• 30억 파라미터 모델은 저자들의 이전 제로샷 결과 대비 제로샷 F1을 6점 이상 향상시켜 스케일의 이점이 확인되었다.
• monoT5-base와 monoT5-3b의 앙상블은 2022년 테스트 세트에서 F1 스코어 0.6783을 기록하여 모든 제출물 중 1위를 차지했다.
• 답변 선택 방법은 모든 모델에서 최소 1점 이상 F1 향상을 이끌었으며, 3B 모델에서 가장 높은 향상(0.7373 → 0.7477)을 기록했다.
• 성능 향상에도 불구하고 3B 모델이 더 큰 T5-large 모델보다 뛰어나 성능이 크기 증가에 따라 비단조화적임을 시사한다.
• 제로샷 monoT5-3b 모델은 성공적으로 프로덕션 환경에서 법적 검색 엔진으로 배포되어 실세계 적용 가능성을 입증했다.