[論文レビュー] TinyMBERT: Multi-Stage Distillation Framework for Massive Multi-lingual NER.

Subhabrata Mukherjee, Ahmed Hassan Awadallah|arXiv (Cornell University)|Apr 12, 2020

Topic Modeling被引用数 4

ひとこと要約

この論文は、多言語 BERT (MBERT) モデルを効率的な多言語 Named Entity Recognition (NER) のために圧縮するためのマルチステージ蒸留フレームワークである TinyMBERT を提案する。段階的な最適化手法を用いて教師モデルの内部表現を活用することで、41言語で教師モデルの F1 スコアの95％を維持しながら、パラメータ数を最大35倍削減し、遅延を最大51倍削減する。

ABSTRACT

Deep and large pre-trained language models are the state-of-the-art for various natural language processing tasks. However, the huge size of these models could be a deterrent to use them in practice. Some recent and concurrent works use knowledge distillation to compress these huge models into shallow ones. In this work we study knowledge distillation with a focus on multi-lingual Named Entity Recognition (NER). In particular, we study several distillation strategies and propose a stage-wise optimization scheme leveraging teacher internal representations that is agnostic of teacher architecture and show that it outperforms strategies employed in prior works. Additionally, we investigate the role of several factors like the amount of unlabeled data, annotation resources, model architecture and inference latency to name a few. We show that our approach leads to massive compression of MBERT-like teacher models by upto 35x in terms of parameters and 51x in terms of latency for batch inference while retaining 95% of its F1-score for NER over 41 languages.

研究の動機と目的

• 大規模な事前学習済み多言語モデルの計算コストとメモリコストの高さによる、実世界の NLP 応用における非効率性を解消すること。
• 多言語 Named Entity Recognition (NER) タスクに特化した効果的な知識蒸留戦略を検討すること。
• 教師モデルのアーキテクチャに依存しないフレームワークを構築し、内部表現を活用して性能を向上させること。
• 無ラベルデータ、アノテーションリソース、モデルアーキテクチャ、推論遅延の影響が蒸留効果に与える影響を調査すること。
• 多言語 NER において顕著な性能低下を伴わずに、大規模なモデル圧縮を達成すること。

提案手法

• 大規模な多言語教師モデル (MBERT) から小さな学生モデルへ段階的に知識を転送する段階的蒸留フレームワークを提案する。
• 教師モデルの複数の層における内部表現（例：隠れ状態）を活用して学生モデルの学習をガイドすることで、知識転送を強化する。
• アーキテクチャに依存しない蒸留戦略を設計し、教師モデルのアーキテクチャを変更せずにさまざまなモデルに適用可能にする。
• 各ステージが特定の知識転送目的に集中する段階的最適化プロセスを採用し、学生モデルの性能を段階的に向上させる。
• 無ラベルデータを蒸留プロセスに統合することで、低リソース言語における汎化性とロバスト性を向上させる。
• モデルサイズと遅延を最小限に抑える最適化を実施し、多言語 NER ベンチマークで高い F1 スコアを維持する。

実験結果

リサーチクエスチョン

• RQ1 教師モデルの内部表現を用いた段階的蒸留は、標準的な蒸留と比較して、多言語 NER における学生モデルの性能をどの程度向上させるか？
• RQ2 41言語で高い F1 スコアを維持しつつ、どの程度のモデル圧縮が達成可能か？
• RQ3 無ラベルデータの量、アノテーションリソースの可用性、モデルアーキテクチャなどの要因が蒸留結果に与える影響は何か？
• RQ4 教師モデルのアーキテクチャに依存しないフレームワークを構築できるか、性能を損なわずに行えるか？
• RQ5 圧縮された多言語 NER モデルにおいて、モデルサイズ、推論遅延、F1 スコアの間にはどのようなトレードオフがあるか？

主な発見

• 提案されたマルチステージ蒸留フレームワークは、多言語 NER における先行する知識蒸留戦略を上回る性能を達成する。
• TinyMBERT は、元の MBERT 教師モデルと比較して、最大35倍のパラメータ数削減を達成する。
• フレームワークはバッチ推論遅延を最大51倍削減し、41言語で教師モデルの F1 スコアの95％を維持する。
• 教師モデルの内部表現の活用は、特に低リソース言語環境において知識転送を顕著に向上させる。
• 無ラベルデータ量やアノテーションリソースの量の変動に対しても、蒸留プロセスは頑健で、一貫した性能向上を示す。
• アーキテクチャに依存しない設計により、アーキテクチャの変更なしに多様な教師モデルへ効果的に適用可能である。