[논문 리뷰] MiniRBT: A Two-stage Distilled Small Chinese Pre-trained Model

Xin Yao, Ziqing Yang외 2명|arXiv (Cornell University)|2023. 04. 03.

Natural Language Processing Techniques인용 수 4

한 줄 요약

MiniRBT는 두 단계 지식 정복과 동적 전체 단어 마스킹을 사용하는 좁고 깊은 아키텍처를 채택한 소형이고 효율적인 중국어 사전학습 언어 모델로, 모델 크기를 10%로 줄이고 추론 속도를 6.8배 빠르게 하면서도 RoBERTa 성능의 94%를 달성한다. 이는 하류 NLP 작업에서 실용적인 구현을 위해 최적화된 강력한 효율성과 효과성을 제공한다.

ABSTRACT

In natural language processing, pre-trained language models have become essential infrastructures. However, these models often suffer from issues such as large size, long inference time, and challenging deployment. Moreover, most mainstream pre-trained models focus on English, and there are insufficient studies on small Chinese pre-trained models. In this paper, we introduce MiniRBT, a small Chinese pre-trained model that aims to advance research in Chinese natural language processing. MiniRBT employs a narrow and deep student model and incorporates whole word masking and two-stage distillation during pre-training to make it well-suited for most downstream tasks. Our experiments on machine reading comprehension and text classification tasks reveal that MiniRBT achieves 94% performance relative to RoBERTa, while providing a 6.8x speedup, demonstrating its effectiveness and efficiency.

연구 동기 및 목표

• 중국어 NLP를 위한 효율적이고 소형의 사전학습 모델 부족 문제를 해결하기 위해.
• 하류 작업에서 높은 성능을 유지하면서 추론 지연과 모델 크기를 줄이기 위해.
• 교사-보조 교사 중간 모델을 도입한 두 단계 정복 과정을 통해 정복 효율성을 향상시키기 위해.
• 유사한 파라미터 수를 가진 소형 모델에서 좁고 깊은 아키텍처가 넓고 浅은 아키텍처보다 우월한가를 검토하기 위해.
• 자원 제약 환경에서 중국어 NLP 모델의 실용적 구현을 가능하게 하기 위해.

제안 방법

• 파라미터 효율성과 추론 속도 향상을 위해 좁고 깊은 학습자 모델 아키텍처를 사용한다.
• 전체 중국어 단어를 개별 문자가 아닌 마스킹하여 의미 일관성을 유지하기 위해 사전학습 중 동적 전체 단어 마스킹(WWM)을 적용한다.
• 두 단계 지식 정복을 적용: 첫 번째로 교사 모델(중국어 RoBERTa-wwm)에서 교사-보조 모델로, 두 번째로 교사-보조 모델에서 학습자 모델로 정복한다.
• 학습자 모델은 교사 모델의 어텐션 맵과 로짓을 모방하기 위해 정복 손실을 사용하여 훈련된다.
• 온보드 크기가 큰 중국어 코퍼스를 사용하여 사전학습을 수행하며, 배치 크기 4096, 100K 훈련 스텝, 온도 8을 사용한다.
• 하류 작업에서 학습률 5e-5 또는 1e-4로 2~10 에포크 동안 피니테이닝을 수행하며, 여러 랜덤 시드에 대한 결과를 평균화한다.

실험 결과

연구 질문

• RQ1 유사한 파라미터 수를 가진 소형 중국어 사전학습 모델에서 좁고 깊은 모델 아키텍처가 넓고 얕은 아키텍처보다 성능이 뛰어나다고 할 수 있는가?
• RQ2 소형 모델 압축에서 두 단계 정복이 한 단계 정복보다 성능 향상에 기여하는가?
• RQ3 동적 전체 단어 마스킹이 소형 중국어 사전학습 모델의 의미 모델링 능력을 향상시키는 데 얼마나 효과적인가?
• RQ4 10% 파라미터 모델이 하류 NLP 작업에서 RoBERTa 성능을 어느 정도 재현할 수 있는가?
• RQ5 정복된 소형 모델이 정확도를 손상시키지 않고 실제 구현 환경에서 의미 있는 속도 향상을 달성할 수 있는가?

주요 결과

• MiniRBT는 RoBERTa 대비 평균 상대 성능 94%를 달성하며, 단일 NVIDIA M40 GPU에서 추론 속도가 6.8배 빨라진다.
• RoBERTa의 파라미터 수의 10%만을 사용하는 MiniRBT는 RBT3(3~4배 더 많은 파라미터)보다 기계 독해 작업에서 더 뛰어난 성능을 보인다.
• 두 단계 정복 방법은 한 단계 정복 대비 평균 0.4~0.5 F1 포인트 향상된 성능을 기록한다.
• 텍스트 분류 작업에서 MiniRBT는 RoBERTa의 정확도의 98%를 달성하며, 여러 벤치마크에서 평균 상대 성능 95.3%를 기록한다.
• 유사한 크기의 넓고 얕은 아키텍처보다 좁고 깊은 아키텍처가 더 뛰어난 성능을 보여, 소형 모델 설계에 효과적임을 확인한다.
• 더 많은 파라미터를 가진 RBT4-H312와 비교해도 MiniRBT는 성능에서 앞서며, 아키텍처 설계와 정복의 우수성을 입증한다.