[論文レビュー] Model Compression with Two-stage Multi-teacher Knowledge Distillation for Web Question Answering System

Ze Yang, Linjun Shou+3 more|arXiv (Cornell University)|Oct 18, 2019

Topic Modeling参考文献 29被引用数 6

ひとこと要約

本稿では、2段階のマルチティーチャー知識蒸留（TMKD）を提案する。まず、複数のティーチャーモデル（例：BERT および GPT）の出力に基づいて、学生モデルをマルチティーチャー蒸留タスクで事前学習し、その後、複数の多様なティーチャーモデルからの知識を用いて微調整する。このアプローチにより、推論遅延を顕著に低減しつつ、ティーチャーモデルの性能に匹敵またはそれを上回る性能を達成する。大規模なQ&Aデータセットにおいて79.22%の精度を達成し、元のBERT largeモデル（77.00%）を上回る。実運用環境での大幅な高速化も可能である。

ABSTRACT

Deep pre-training and fine-tuning models (such as BERT and OpenAI GPT) have demonstrated excellent results in question answering areas. However, due to the sheer amount of model parameters, the inference speed of these models is very slow. How to apply these complex models to real business scenarios becomes a challenging but practical problem. Previous model compression methods usually suffer from information loss during the model compression procedure, leading to inferior models compared with the original one. To tackle this challenge, we propose a Two-stage Multi-teacher Knowledge Distillation (TMKD for short) method for web Question Answering system. We first develop a general Q\&A distillation task for student model pre-training, and further fine-tune this pre-trained student model with multi-teacher knowledge distillation on downstream tasks (like Web Q\&A task, MNLI, SNLI, RTE tasks from GLUE), which effectively reduces the overfitting bias in individual teacher models, and transfers more general knowledge to the student model. The experiment results show that our method can significantly outperform the baseline methods and even achieve comparable results with the original teacher models, along with substantial speedup of model inference.

研究の動機と目的

• リアルタイムWeb質問応答システムにおける大規模事前学習モデル（例：BERT、GPT）の高い推論遅延を解消すること。
• 知識蒸留に起因する情報損失が引き起こすモデル圧縮による性能低下を克服すること。
• 複数のティーチャーモデルからの多様なマルチソース知識を活用することで、学生モデルの一般化性能を向上させること。
• 厳密な遅延制約（≤10ms）を満たす生産規模のWeb Q&Aパイプラインにおける圧縮モデルの効率的デプロイを可能にすること。
• 学習データ量、モデルの深さ、損失重みの影響が蒸留効果に与える影響を調査すること。

提案手法

• 2段階のトレーニングパイプラインを導入：まず、複数のティーチャーモデルの出力に基づいて、一般のQ&A蒸留タスクで学生モデルを事前学習する。
• 次に、Web Q&A、MNLI、SNLI、RTEなどの下流タスクで、マルチティーチャー知識蒸留（m-o-1）を用いて事前学習済みの学生モデルを微調整する。
• ゴールデンラベルの交差エントロピー損失と複数のティーチャーからの知識蒸留損失を組み合わせた重み付き損失を用いてソフトラベル蒸留を行う。
• ゴールデンラベルと複数のティーチャーからのソフトラベルの両方の監督をバランスさせるために、動的損失重み比αを採用する。
• 異なるハイパーパrameterで学習された多様なティーチャーモデル（例：BERT base/large、GPT）を用いることで、過学習バイアスを低減し、知識の多様性を向上させる。
• アンサンブル蒸留を適用し、各学生モデルを異なるティーチャーで学習させ、予測を統合することで耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 2段階のマルチティーチャー蒸留フレームワークは、学生モデルの精度と推論効率の面で、1ティーチャー知識蒸留を上回ることができるか？
• RQ2 学生モデルをマルチティーチャー蒸留タスクで事前学習することで、下流NLPタスクにおける一般化性能が向上するか？
• RQ3 学生モデルのトランスフォーマー層の数が、性能と推論速度のトレードオフに与える影響は何か？
• RQ4 マルチティーチャー知識蒸留において、ゴールデンラベル監督とソフトラベル蒸留の最適なバランスは何か？
• RQ5 マルチティーチャー蒸留は、特に大規模データセットにおいて、元のティーチャーモデルの性能を上回ることができるか？

主な発見

• TMKDは0.1億件のサンプルを含むQ&Aデータセットで79.22%の精度を達成し、元のBERT largeモデル（77.00%）を上回った。
• 評価されたすべてのデータセットで、1-o-1および平均ベースのマルチティーチャー蒸留（TKD base）を上回った。
• 3層のトランスフォーマーを搭載した学生モデルが、性能対推論速度比（QPS：217）が最良であり、精度と遅延の両立に成功した。
• 損失重み比αを増加させることで性能が向上するが、α = 1.0に達すると性能が低下し、ゴールデンラベル監督の必要性が示された。
• 層数を1層から3層に増やすことで顕著な性能向上（例：QNLIで+11.44%）が得られるが、3層から5層に増やすとその向上は最小限（例：RTEで+0.37%）にとどまり、3層が最適であると正当化される。
• 推論の高速化が顕著に実現され、例としてBERT largeでは5.2ms、圧縮された学生モデルでは約1.6msの遅延を達成した。これにより、リアルタイムWeb Q&Aシステムへの適用が可能になった。