[論文レビュー] Model Compression with Multi-Task Knowledge Distillation for Web-scale Question Answering System

Ze Yang, Linjun Shou+3 more|arXiv (Cornell University)|Apr 21, 2019

Topic Modeling参考文献 25被引用数 16

ひとこと要約

本稿では、Web規模の質問応答システムにおける大規模事前学習モデル（例：BERT）の圧縮を目的として、マルチタスク知識蒸留（MKDM）を提案する。この手法により、性能を損なわずに高速な推論が可能になる。複数の教師モデルから得られる知識を統合的に蒸留することで、1つの軽量な学生モデルに知識を効果的に伝達し、一般化性能を向上させるとともに過学習を低減する。特に、大量のラベルなしデータを用いた二段階的事前学習戦略を組み合わせることで、元の教師モデルと同等またはそれ以上の性能を達成する。

ABSTRACT

Deep pre-training and fine-tuning models (like BERT, OpenAI GPT) have demonstrated excellent results in question answering areas. However, due to the sheer amount of model parameters, the inference speed of these models is very slow. How to apply these complex models to real business scenarios becomes a challenging but practical problem. Previous works often leverage model compression approaches to resolve this problem. However, these methods usually induce information loss during the model compression procedure, leading to incomparable results between compressed model and the original model. To tackle this challenge, we propose a Multi-task Knowledge Distillation Model (MKDM for short) for web-scale Question Answering system, by distilling knowledge from multiple teacher models to a light-weight student model. In this way, more generalized knowledge can be transferred. The experiment results show that our method can significantly outperform the baseline methods and even achieve comparable results with the original teacher models, along with significant speedup of model inference.

研究の動機と目的

• 実世界のWeb規模の質問応答システムで使用される大規模事前学習モデル（例：BERT）における推論の遅さという課題に対処すること。
• 知識蒸留による情報損失を最小限に抑えることで、モデル圧縮に伴う性能低下を低減すること。
• 複数の教師モデルからの知識統合を通じて、学生モデルの一般化性能を向上させ、過学習バイアスを低減すること。
• ラベルなしデータを用いた事前学習とラベル付きデータを用いた微調整を段階的に実行する二段階トレーニング戦略の有効性を検証すること。
• 生産環境における低遅延オンライン推論に適したスケーラブルで効率的かつ高性能な学生モデルの開発

提案手法

• 1つの学生モデルが複数の事前学習済み教師モデル（例：BERT-base, BERT-large）が出力するソフトラベルを統合的に学習するマルチタスク学習フレームワークを設計する。
• 教師のソフトラベルからの知識蒸留損失とゴールデンラベルからの交差エントロピー損失を組み合わせた連合損失関数を定式化し、ハイパーパrameter α で重み付けする。
• まず、大規模なラベルなしデータ上で複数の教師モデルのソフトラベルを用いて学生モデルを事前学習する二段階マルチタスク知識蒸留モデル（TS-MKDM）を導入する。
• 次に、小規模なラベル付きデータセット上でソフトラベルとゴールデンラベルの両方を用いて学生モデルを微調整し、段階的な知識の最適化によって性能を向上させる。
• 多様な教師モデルが持つ補完的知識を活用することで、学生モデルの一般化性能とロバスト性を向上させる。
• 知識蒸留と教師付き学習の損失のバランスを最適化するため、損失重み比 α を最適化し、アブレーションスタディにより α=0.9 の際に最良の性能を達成することが示された。

実験結果

リサーチクエスチョン

• RQ1 マルチ教師知識蒸留は、Web規模の質問応答における圧縮された学生モデルの一般化性能と性能を向上させることができるか？
• RQ2 単一教師蒸留と比較して、複数の教師モデルからの同時学習は過学習バイアスを低減するか？
• RQ3 複数教師のソフトラベルを用いて大規模なラベルなしQAペアで学生モデルを事前学習することで、さらなる性能向上が達成できるか？
• RQ4 提案された二段階トレーニング戦略（事前学習＋微調整）により、学生モデルが元の教師モデルを上回る性能を達成できるか？
• RQ5 マルチタスクフレームワークにおける知識蒸留と教師付き学習損失の最適なトレードオフ（すなわち α の値）は何か？

主な発見

• MKDMモデルはベースラインの蒸留手法を上回り、CommQA-Labeledデータセットで77.18%の精度と85.14%のAUCを達成し、単一教師ベースラインよりも顕著に向上した。
• 二段階のTS-MKDMアプローチは、同じデータセットで79.22%の精度と87.50%のAUCを達成し、元のBERTモデル（77.00%の精度、86.50%のAUC）を上回った。
• α=0.9 の場合に、最も高い性能（77.18%の精度、85.14%のAUC）を達成した。これは、ソフトラベルとゴールデンラベルの両方の監視のバランスが重要であることを示している。
• α=1.0（ソフトラベルのみ）にした場合に性能が低下した。これは、ゴールデンラベルが包括的な知識習得に不可欠であることを裏付けている。
• TS-MKDMモデルは、1億件のラベルなしQAペアを用いた事前学習により、AUCおよび精度の両面で教師モデルを上回ることを実証した。
• 結果から、連合最適化によるマルチ教師蒸留は過学習を低減し、特にリソースが限られた環境や変動が大きい状況下での一般化性能を向上させることを確認した。