[論文レビュー] MiniRBT: A Two-stage Distilled Small Chinese Pre-trained Model

Xin Yao, Ziqing Yang+2 more|arXiv (Cornell University)|Apr 3, 2023

Natural Language Processing Techniques被引用数 4

ひとこと要約

MiniRBT は、2段階の知識蒸留と動的全単語マスキングを用いた狭く深いアーキテクチャを採用した、中国語自然言語処理向けの小型で効率的な事前学習言語モデルであり、モデルサイズを 10% に削減するとともに、推論速度を 6.8 倍に向上させ、RoBERTa の性能の 94% を達成している。実用的な下流タスクへの展開を最適化し、高い効率性と有効性を兼ね備えている。

ABSTRACT

In natural language processing, pre-trained language models have become essential infrastructures. However, these models often suffer from issues such as large size, long inference time, and challenging deployment. Moreover, most mainstream pre-trained models focus on English, and there are insufficient studies on small Chinese pre-trained models. In this paper, we introduce MiniRBT, a small Chinese pre-trained model that aims to advance research in Chinese natural language processing. MiniRBT employs a narrow and deep student model and incorporates whole word masking and two-stage distillation during pre-training to make it well-suited for most downstream tasks. Our experiments on machine reading comprehension and text classification tasks reveal that MiniRBT achieves 94% performance relative to RoBERTa, while providing a 6.8x speedup, demonstrating its effectiveness and efficiency.

研究の動機と目的

• 中国語 NLP のための効率的で小規模な事前学習モデルの不足に対処すること。
• 下流タスクにおける高い性能を維持しながら、推論遅延とモデルサイズを低減すること。
• 教師アシスタントの中間モデルを導入した 2 段階の蒸留プロセスにより、蒸留の効率を向上させること。
• パラメータ数が同程度の小規模モデルにおいて、狭く深いアーキテクチャが、広く浅いアーキテクチャを上回るかを検証すること。
• リソース制限のある環境での中国語 NLP モデルの実用的展開を可能にすること。

提案手法

• パラメータ効率性と推論速度の向上を目的として、狭く深い学生モデルのアーキテクチャを採用する。
• 事前学習中に動的全単語マスキング（WWM）を適用し、個々の文字ではなく中国語の単語全体をマスキングすることで意味的整合性を保持する。
• 2 段階の知識蒸留を実施：まず教師モデル（Chinese RoBERTa-wwm）から教師アシスタントモデルへ、次に教師アシスタントモデルから学生モデルへ蒸留を行う。
• 学生モデルは、教師モデルの注意マップとログティックを模倣するように、蒸留損失を用いて訓練される。
• 事前学習は、バッチサイズ 4096、100K ステップ、温度 8 を用いて大規模な中国語コーパスで実施する。
• 微調整は、学習率 5e-5 または 1e-4 を用い、2～10 エポックで下流タスクに対して実施し、複数のランダムシードでの平均結果を算出する。

実験結果

リサーチクエスチョン

• RQ1 パラメータ数が類似する小規模な中国語事前学習モデルにおいて、狭く深いモデル構造が、広く浅いものよりも優れているか？
• RQ2 2 段階の知識蒸留は、1 段階の蒸留に比べて性能向上をもたらすか？
• RQ3 動的全単語マスキングは、小規模な中国語事前学習モデルの意味的モデリング能力を向上させるのにどの程度効果的か？
• RQ4 10% のパラメータを持つモデルが、下流 NLP タスクにおいて RoBERTa の性能にどの程度近づけるか？
• RQ5 蒸留された小規模モデルは、実世界の展開環境において精度を損なわず、顕著な高速化を達成できるか？

主な発見

• MiniRBT は、RoBERTa と比較して平均 94% の相対的性能を達成し、単一の NVIDIA M40 GPU で 6.8 倍の高速化を実現した。
• RoBERTa のパラメータの 10% の MiniRBT は、3～4 倍多くのパラメータを持つ RBT3 よりも機械的読解タスクで優れた性能を示した。
• 2 段階の蒸留法は、1 段階の蒸留に比べて平均して 0.4～0.5 F1 ポints の性能向上をもたらした。
• MiniRBT は、テキスト分類タスクで RoBERTa の 98% の正確性を達成し、複数のベンチマークで平均 95.3% の相対的性能を示した。
• 狭く深いアーキテクチャは、同程度のサイズの広く浅いアーキテクチャを上回り、小規模モデル設計における有効性を裏付けた。
• パラメータ数が少ないにもかかわらず、RBT4-H312 よりも優れた性能を示したため、アーキテクチャ設計と蒸留の利点が顕著に示された。