[논문 리뷰] Sparse*BERT: Sparse Models Generalize To New tasks and Domains

Daniel Campos, Alexandre Carriconde Marques외 3명|arXiv (Cornell University)|2022. 05. 25.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 일반 도메인 사전학습 중 점진적 비구조적 크기 제거를 통해 훈련된 정제된 BERT 모델인 Sparse*BERT를 소개한다. 이 모델은 작업별 초모수 조정 없이도 생물의학 분야와 같은 새로운 도메인으로 효과적으로 일반화된다. 결과적으로 SparseBioBERT는 BioBERT 수준의 성능을 달성하면서 파라미터 수를 오직 10%로 줄였으며, 다양한 생물의학 NLP 작업과 데이터 부족 상황에서도 강력한 zero-shot 전이성과 내성성을 보여준다.

ABSTRACT

Large Language Models have become the core architecture upon which most modern natural language processing (NLP) systems build. These models can consistently deliver impressive accuracy and robustness across tasks and domains, but their high computational overhead can make inference difficult and expensive. To make using these models less costly, recent work has explored leveraging structured and unstructured pruning, quantization, and distillation to improve inference speed and decrease size. This paper studies how models pruned using Gradual Unstructured Magnitude Pruning can transfer between domains and tasks. Our experimentation shows that models that are pruned during pretraining using general domain masked language models can transfer to novel domains and tasks without extensive hyperparameter exploration or specialized approaches. We demonstrate that our general sparse model Sparse*BERT can become SparseBioBERT simply by pretraining the compressed architecture on unstructured biomedical text. Moreover, we show that SparseBioBERT can match the quality of BioBERT with only 10\% of the parameters.

연구 동기 및 목표

• 정제된 대규모 언어 모델이 작업별 초모수 조정 없이도 새로운 도메인과 작업으로 효과적으로 일반화될 수 있는지 조사하기 위해.
• 생물의학 NLP에서 전이 성능에 대한 정제 단계(사전학습 대 미세조정)의 영향을 평가하기 위해.
• 최소한의 도메인 전용 사전학습을 통해 특수 도메인에 적응할 수 있는 희소성 있는 일반 목적 모델을 개발하기 위해.
• 희소 모델이 파라미터 수를 크게 줄이면서도 밀도 모델과 동등하거나 이를 초월하는 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 정제는 일반 도메인 사전학습 중 점진적 비구조적 크기 제거를 통해 수행되며, 소문자 BERT에서 수행된다.
• 정제된 아키텍처는 도메인 전용 생물의학 텍스트에서 미세조정되어 SparseBioBERT라는 특화된 희소 모델을 생성한다.
• 성능 유지를 위해 미세조정 중에 지식 정제를 사용하며, 온도는 2.0, 딱딱함은 0.8로 설정된다.
• 다양한 생물의학 데이터셋에서 엔티티 추출, 관계 추출, 질의 응답 작업에 대해 모델을 평가한다.
• 훈련 데이터 크기를 체계적으로 변화시켜(1%에서 100%까지) 샘플 효율성과 데이터 부족에 대한 강건성 평가를 수행한다.
• 모델의 정제 시점에 따라 비교: 사전학습 중 정제된 모델(Sparse*BERT), 미세조정 중 정제된 모델, 밀도 BERT

실험 결과

연구 질문

• RQ1 일반 도메인 데이터에서 훈련된 정제된 대규모 언어 모델이 추가적인 초모수 조정 없이도 새로운 도메인으로 효과적으로 전이될 수 있는가?
• RQ2 특히 자원이 제한된 생물의학 NLP 작업에서, 사전학습 중 정제가 미세조정 중 정제보다 더 높은 전이 성능을 낼 수 있는가?
• RQ3 데이터 부족 상황에서 모델 희소성은 성능에 어떤 영향을 미치며, 샘플 효율성 측면에서 밀도 모델과 비교해 볼 때 어떻게 되는가?
• RQ4 단일 희소 아키텍처가 최소한의 도메인 전용 사전학습을 통해 새로운 도메인(예: 생물의학)에 적응하여, 밀도 모델과 동등한 성능을 달성할 수 있는가?

주요 결과

• 사전학습 중 정제된 Sparse*BERT는 활성 파라미터 수가 오직 10%에 불과함에도 불구하고 생물의학 NLP 작업에서 BioBERT와 유사한 성능을 달성한다.
• 엔티티 추출에서 사전학습 중 정제가 미세조정 중 정제보다 약 4점 높고, 총합에서 2점 높으며, BERT와 BioBERT 간의 격차를 초월한다.
• Sparse*BERT는 훈련 데이터 크기가 다양할 경우에도 높은 성능를 유지하며, 훈련 데이터의 100%일 때 F1 점수는 88.50에서 1%일 때 60.91로 약간만 감소한다. 반면, 미세조정된 정제 모델은 빠르게 성능이 떨어진다.
• NCBI 및 GAD와 같은 작은 데이터셋에서는 미세조정 중 정제된 모델이 심각한 정확도 손실을 입지만, Sparse*BERT는 강건성을 유지한다.
• 사전학습 중 정제된 모델이 미세조정 중 정제된 모델보다 더 우수한 일반화 성능를 보이며, 특히 자원이 제한된 환경에서 더 뛰어나다. 이는 조기 정제가 전이 가능성을 유지시킨다는 것을 시사한다.
• SparseBioBERT는 파라미터 수에 비해 최신 기술 수준의 성능를 달성하며, 작업별 최적화 없이도 BioBERT의 정확도를 90% 적은 활성 파라미터로 구현한다.