[論文レビュー] Deep LSTM for Large Vocabulary Continuous Speech Recognition

Xu Tian, Jun Zhang+7 more|arXiv (Cornell University)|Mar 21, 2017

Speech Recognition and Synthesis参考文献 14被引用数 23

ひとこと要約

本稿では、層ごとの事前学習、指数移動平均（EMA）、知識蒸留を組み合わせた深層一方向LSTM学習フレームワークを提案する。大規模語彙連続音声認識（LVCSR）に対して、9層モデルから2層モデルへの知識蒸留により、最小限の精度損失と低いリアルタイム要因（RTF）で、文字誤り率（CER）を14%相対的に低減した。また、全データの14%未満で学習可能なセグメンタル最小ベイズリスク（sMBR）を用いた効率的な転移学習を可能にした。

ABSTRACT

Recurrent neural networks (RNNs), especially long short-term memory (LSTM) RNNs, are effective network for sequential task like speech recognition. Deeper LSTM models perform well on large vocabulary continuous speech recognition, because of their impressive learning ability. However, it is more difficult to train a deeper network. We introduce a training framework with layer-wise training and exponential moving average methods for deeper LSTM models. It is a competitive framework that LSTM models of more than 7 layers are successfully trained on Shenma voice search data in Mandarin and they outperform the deep LSTM models trained by conventional approach. Moreover, in order for online streaming speech recognition applications, the shallow model with low real time factor is distilled from the very deep model. The recognition accuracy have little loss in the distillation process. Therefore, the model trained with the proposed training framework reduces relative 14\% character error rate, compared to original model which has the similar real-time capability. Furthermore, the novel transfer learning strategy with segmental Minimum Bayes-Risk is also introduced in the framework. The strategy makes it possible that training with only a small part of dataset could outperform full dataset training from the beginning.

研究の動機と目的

• 非常に深いLSTMモデルを大規模語彙連続音声認識（LVCSR）に適用する課題に対処すること。これは、消失勾配と収束性の悪さにより最適化が困難である。
• 深く正確なモデルから浅く低遅延なモデルへ知識を蒸留することで、性能劣化を最小限に抑えつつリアルタイムストリーミング音声認識を実現すること。
• ドメイン特化の適応にかかるデータおよび学習コストを削減するため、セグメンタル最小ベイズリスク（sMBR）を用いた新しい転移学習戦略を導入し、全データのわずかな割合（14%未満）で高い性能を達成すること。
• 層ごとの事前学習、EMA、およびマルチGPU環境下での同期SGDとモデル平均化を組み合わせることで、学習効率とモデルの頑健性を向上させること。

提案手法

• 深層LSTMネットワークの初期化に層ごとの事前学習を採用し、Xavier初期化と比較して収束性と性能が向上することを確認した。
• 訓練中にモデルパラメータの指数移動平均（EMA）を適用することで、最適化の安定化と一般化性能の向上を実現した。
• 9層の深層LSTMモデルから2層の浅層モデルへ知識蒸留を実施し、実時間要因（RTF）を著しく低減しながら高い精度を維持した。
• セグメンタル最小ベイズリスク（sMBR）損失を用いた新しい転移学習戦略を導入。全データセット（7,300時間）ではなく、1,000時間のラベル付きデータのみで学習可能な高精度な適応を実現した。
• 同期SGDとモデル平均化、およびブロックワイドモデル更新フィルタ（BMUF）を組み合わせることで、マルチGPU環境下で線形的なスループット向上と最小限の精度損失を達成した。
• フレームスタックを採用することで、1つの入力に複数フレームの文脈を統合し、学習とデコードの両方を高速化した。

実験結果

リサーチクエスチョン

• RQ1 層ごとの事前学習とEMAを組み合わせた新しい訓練フレームワークを用いることで、7層を超える深いLSTMモデル（例：9層）をLVCSRに成功裏に訓練できるか？
• RQ2 非常に深いLSTMモデル（例：9層）から浅いモデル（例：2層）への蒸留によって、顕著な精度損失なしに知識を効果的に転送できるか？
• RQ3 sMBR損失を用いた転移学習戦略が、全データセットと同等の性能を達成できるか、わずかなデータ量（全データの14%未満）で実現できるか？
• RQ4 EMA、層ごとの事前学習、および蒸留の組み合わせが、ストリーミング音声認識におけるリアルタイム要因（RTF）と文字誤り率（CER）にどのように影響を与えるか？
• RQ5 sMBRによる逐次判別的学習が、標準的な交差エントロピー（CE）学習と比較して、深層モデルおよび蒸留モデルの両方においてCER低減にどの程度寄与するか？

主な発見

• 層ごとの事前学習とsMBRを用いて訓練した9層一方向LSTMモデルは、CER 2.49%を達成し、標準的な訓練法と比較して顕著な向上を示した。
• 9層モデルから2層モデルへの知識蒸留により、RTFが53%低減した一方でCERはわずかに5%上昇した。これにより、許容可能な精度でリアルタイムストリーミングが可能になった。
• 蒸留された2層モデルは、交差エントロピー損失で訓練した2層モデルと比較して、CERを14%相対的に低減した。これは、効果的な知識転送を示している。
• Amap固有のデータ1,000時間のみを用いたsMBRベースの転移学習は、事前学習済みShenmaモデルを初期化として用いることで、全データ（7,300時間）を用いた学習よりも優れた性能（CER 6.26%）を達成した。
• 層ごとの事前学習とEMAの組み合わせは、特に深いネットワークにおいて、訓練の安定性と収束性を顕著に向上させ、全層数においてXavier初期化を上回った。
• 層ごとの事前学習により3層追加した場合、CERは相対的に12.6%低減した。これは、適切な訓練戦略のもとで深さを活かす有効性を示している。