[論文レビュー] Essence Knowledge Distillation for Speech Recognition

Zhenchuan Yang, Chun Zhang+3 more|arXiv (Cornell University)|Jun 26, 2019

Speech Recognition and Synthesis参考文献 23被引用数 6

ひとこと要約

本稿では、音声認識のためのエッセンス知識蒸留（EKD）を提案する。教師アンサンブルモデルから最も信頼性の高い上位-k個のソフトラベルのみを用いて、より小さな学生モデルを訓練する。驚くべきことに、学生モデルは個々の教師モデルおよび完全なアンサンブルモデルを上回り、計算量を著しく削減しながらSwitchboardで最先端の結果を達成した。これは、本質的な知識に焦点を当て、マルチタスク学習によりハードラベルと組み合わせることで実現された。

ABSTRACT

It is well known that a speech recognition system that combines multiple acoustic models trained on the same data significantly outperforms a single-model system. Unfortunately, real time speech recognition using a whole ensemble of models is too computationally expensive. In this paper, we propose to distill the knowledge of essence in an ensemble of models (i.e. the teacher model) to a single model (i.e. the student model) that needs much less computation to deploy. Previously, all the soften outputs of the teacher model are used to optimize the student model. We argue that not all the outputs of the ensemble are necessary to be distilled. Some of the outputs may even contain noisy information that is useless or even harmful to the training of the student model. In addition, we propose to train the student model with a multitask learning approach by utilizing both the soften outputs of the teacher model and the correct hard labels. The proposed method achieves some surprising results on the Switchboard data set. When the student model is trained together with the correct labels and the essence knowledge from the teacher model, it not only significantly outperforms another single model with the same architecture that is trained only with the correct labels, but also consistently outperforms the teacher model that is used to generate the soft labels.

研究の動機と目的

• リアルタイム音声認識システムにアンサンブル音響モデルを導入する際の高い計算コストを軽減すること。
• 完全なソフトラベル蒸留によるノイズや不要な情報の影響を回避することで、学生モデルの一般化性能を向上させること。
• 教師アンサンブルモデルから最も顕著な知識のみを蒸留することで、完全な蒸留よりも優れた性能が得られるかどうかを検証すること。
• マルチタスク学習フレームワーク内で、ハードラベルと蒸留されたエッセンス知識を組み合わせることの有効性を調査すること。
• 性能を最大化しつつ計算コストを最小化する最適なkの値を特定すること。

提案手法

• 教師モデルは、速度変更を加えたデータを用いてデータ拡張されたTDNNとTDNN-LSTMの2つの多様な音響モデルの統合として構築される。
• 教師モデルのソフトマックス確率を用いて、最も信頼性の高い上位-k個の出力ラベルを特定し、これを蒸留用の「エッセンス知識」とする。
• 学生モデルはマルチタスク目的関数を用いて訓練される：真のハードラベルとの交差エントロピー損失と、教師モデルの上位-k個のソフトラベルのみを用いた蒸留損失の両方を最小化する。
• 教師の出力確率はすでに十分にソフトであるため、蒸留温度Tは1に設定される。
• すべてのモデルで共通の意思決定ツリーを用いることで、出力次元の整合性（8912ノード）を保証し、直接比較を可能にする。
• 性能への影響を評価するため、k値を1, 5, 10, 20, 50, 1000, 8912と変化させて学生モデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 教師アンサンブルモデルから上位-k個の信頼性の高いソフトラベルのみを蒸留することで、完全な蒸留よりも優れた性能が得られるか？
• RQ2 マルチタスク学習の枠組み内で、蒸留されたエッセンス知識とハードラベルを組み合わせることで、学生モデルの一般化性能が向上するか？
• RQ3 エッセンス知識を用いて訓練されたより小さな学生モデルは、元の教師アンサンブルモデルを上回る性能を示せるか？
• RQ4 精度と学習効率の観点から、蒸留における最適なkの値は何か？
• RQ5 kが大きくなりすぎると、ノイズや不必要なラベルに過剰適合するため、学生モデルの性能が低下するか？

主な発見

• Switchboardサブセットにおいて、k=5の学生モデルはTOTALセットで16.7%の語誤り率（WER）を達成し、教師モデルの17.2%を上回った。
• 全Switchboardデータセットにおいて、k=5の学生モデルはTOTALセットで16.7%のWERを達成し、教師モデルの17.2%を上回った。
• k=1の学生モデルは全データセットで17.1%のWERを示し、教師モデルの17.2%をわずかに上回った。
• kを1000に増加させた場合、学生モデルの性能が低下した。これは、多すぎるラベルを含めることでノイズが増加し、一般化性能が損なわれるためである。
• k=5とハードラベルを併用して訓練された学生モデルは、常に教師モデルおよびハードラベルのみで訓練された学生モデルを上回った。
• 本手法により、モデルサイズと推論コストを顕著に削減しながら、Switchboardで最先端の性能を達成できた。