[論文レビュー] Learn Spelling from Teachers: Transferring Knowledge from Language Models to Sequence-to-Sequence Speech Recognition

Ye Bai, Jiangyan Yi+3 more|arXiv (Cornell University)|Jul 13, 2019

Speech Recognition and Synthesis参考文献 20被引用数 4

ひとこと要約

本論文は、外部のRNN言語モデル（教師）から、学習時にソフトラベルを用いて、sequence-to-sequence（Seq2Seq）音声認識モデル（生徒）へ知識を転移する知識蒸留手法「学び方を教師から学ぶ」（LST）を提案する。この手法は、推論時に外部コンponentを追加しないまま、vanilla Seq2Seqモデルと比較して文字誤り率（CER）を18.42%相対的に改善し、AISHELL-1で9.3%のCERを達成した。また、浅い統合（shallow fusion）を用いることで8.3%のCERを達成した。

ABSTRACT

Integrating an external language model into a sequence-to-sequence speech recognition system is non-trivial. Previous works utilize linear interpolation or a fusion network to integrate external language models. However, these approaches introduce external components, and increase decoding computation. In this paper, we instead propose a knowledge distillation based training approach to integrating external language models into a sequence-to-sequence model. A recurrent neural network language model, which is trained on large scale external text, generates soft labels to guide the sequence-to-sequence model training. Thus, the language model plays the role of the teacher. This approach does not add any external component to the sequence-to-sequence model during testing. And this approach is flexible to be combined with shallow fusion technique together for decoding. The experiments are conducted on public Chinese datasets AISHELL-1 and CLMAD. Our approach achieves a character error rate of 9.3%, which is relatively reduced by 18.42% compared with the vanilla sequence-to-sequence model.

研究の動機と目的

• 推論の複雑さを増さずに、エンドツーエンドのSeq2Seq音声認識システムに外部言語モデルを統合する課題に対処すること。
• データ駆動型・正則化ベースの蒸留手法を用いて、大規模な外部テキストデータを活用することで、自動音声認識性能を向上させること。
• 訓練時に外部言語モデルをスムーズに統合しつつ、推論時には完全に削除することで、モデルの単純性を維持すること。
• 事前に学習されたRNNLMからの知識蒸留が、従来の正則化手法（ラベルスムージングやユニグラムスムージング）を上回ることを示すこと。
• LSTが浅い統合（shallow fusion）と効果的に組み合わせられ、認識精度をさらに向上させられることを示すこと。

提案手法

• 事前に学習されたRNN言語モデルを「教師」として用い、訓練用トランスクリプションのためのソフトラベルを生成する。
• Seq2Seqモデル（生徒）は、これらのソフトラベルを用いた交差エントロピー損失で訓練される。ソフトラベルは外部テキストから得られる豊富な文脈的事前知識を含む。
• 蒸留プロセスは、モデル構造の変更や推論時に新たなパラメータの導入を行わない。
• 教師のソフトマックス出力に温度スケーリングを適用し、滑らかで情報量の多いソフトラベルを生成する。
• 本手法は浅い統合と互換性があり、デコード時に外部言語モデルと併用可能である。
• 温度や補間重みなどのハイパーパrameterは、開発セットでのチューニングにより性能最適化が行われる。

実験結果

リサーチクエスチョン

• RQ1 外部言語モデルからSeq2Seq ASRモデルへの言語的知識の転送が、モデル構造を変更せずに知識蒸留によって効果的に可能かどうか。
• RQ2 事前に学習されたRNNLMのソフトラベルを監督信号として用いることで、標準的な訓練法や正則化手法と比較してCERが改善されるか。
• RQ3 提案されたLST手法が浅い統合と組み合わせられ、ASR性能をさらに向上させられるか。
• RQ4 ラベルスムージングやユニグラムスムージングと比較して、LSTのCER低減効果はどの程度か。
• RQ5 蒸留プロセスが、訓練損失と検証損失の挙動から示されるように、一般化性能の向上に寄与するか。

主な発見

• 提案されたLST手法は、vanilla Seq2Seqモデルと比較して、文字誤り率（CER）を18.42%相対的に低減し、AISHELL-1データセットで9.3%のCERを達成した。
• 浅い統合を用いない場合、LSTはラベルスムージング（相対的CER低減4.4%）およびスムージング済みユニグラムスムージング（CER 10.0%）を上回る性能を示した。
• 浅い統合と組み合わせた場合、LSTベースのモデルはテストセットで最高の性能を示し、CERは8.3%にまで低下した。
• LSTモデルの訓練損失は検証損失よりも高いことが確認され、一般化性能の向上を示す正則化効果があることが示された。
• 損失曲線から、LSTモデルの検証損失はベースラインのSeq2Seqモデルよりもわずかに低く、一般化性能の向上が確認された。
• ソフトラベル生成の最適な温度は5.0であり、浅い統合の最適な補間重みは0.9であった。両者とも開発セットでのハイパーパrameterチューニングにより決定された。