[論文レビュー] Improved training for online end-to-end speech recognition systems

Suyoun Kim, Michael L. Seltzer+2 more|arXiv (Cornell University)|Nov 6, 2017

Speech Recognition and Synthesis参考文献 25被引用数 9

ひとこと要約

本論文では、発音語彙や結合トリファノンシステムに依存せずに、オンラインエンドツーエンド音声認識モデルを初期化するための教師-生徒蒸留手法を提案する。大規模で事前学習済みのオフラインBLSTMモデルから、KL発散度の最小化により一方向LSTMに知識を転送し、カリキュラム学習とラベルスムージングを組み合わせることで、相対的に19%のWER低減を達成。これは、結合トリファノンで初期化されたモデルとの性能差をほとんど埋めることに成功した。

ABSTRACT

Achieving high accuracy with end-to-end speech recognizers requires careful parameter initialization prior to training. Otherwise, the networks may fail to find a good local optimum. This is particularly true for online networks, such as unidirectional LSTMs. Currently, the best strategy to train such systems is to bootstrap the training from a tied-triphone system. However, this is time consuming, and more importantly, is impossible for languages without a high-quality pronunciation lexicon. In this work, we propose an initialization strategy that uses teacher-student learning to transfer knowledge from a large, well-trained, offline end-to-end speech recognition model to an online end-to-end model, eliminating the need for a lexicon or any other linguistic resources. We also explore curriculum learning and label smoothing and show how they can be combined with the proposed teacher-student learning for further improvements. We evaluate our methods on a Microsoft Cortana personal assistant task and show that the proposed method results in a 19 % relative improvement in word error rate compared to a randomly-initialized baseline system.

研究の動機と目的

• ランダム初期化からの学習におけるオンラインエンドツーエンド音声認識モデルの性能が低いという課題に対処すること。
• モデル初期化に発音語彙、結合トリファノンシステム、その他の従来の音声認識部品に依存しないようにすること。
• 音声認識のための音声的・文法的アノテーションに依存せず、高精度を維持しながらも訓練パイプラインを簡素化する完全なエンドツーエンド訓練戦略を開発すること。
• オフラインモデルからの知識蒸留が、特にリソースが限られた言語環境でも、オンラインモデルの初期化に効果的に機能することを実証すること。

提案手法

• 出力分布のKL発散度を最小化することで、事前学習済みのオフラインBLSTMモデルからオンラインの一方向LSTMモデルへのラベル分布の知識蒸留を実施する。
• 初期学習段階を安定化させ、収束性を向上させるために、短い発話から始めることでカリキュラム学習を適用する。
• 出力確率の過信を防ぐために、一様分布正則化を用いたラベルスムージングを実装する。
• 教師-生徒蒸留とラベルスムージング、カリキュラム学習を組み合わせることで、モデルの一般化性能とロバスト性をさらに向上させる。
• 音声的・文法的アノテーションに一切依存せず、CTC損失と正則化された出力でオンラインモデルを学習する。
• 2段階の訓練プロセスを採用：まず知識蒸留で学生モデルを事前学習し、その後CTC損失とラベルスムージングで微調整する。

実験結果

リサーチクエスチョン

• RQ1 オフラインで大規模なBLSTMモデルから知識蒸留を実施することで、言語的リソースが存在しない状況でも、オンラインの一方向LSTMをエンドツーエンドASR用に効果的に初期化できるか？
• RQ2 教師-生徒学習に加えてカリキュラム学習とラベルスムージングを組み合わせることで、オンラインエンドツーエンドモデルの語誤り率（WER）にどのような影響を与えるか？
• RQ3 結合トリファノンや語彙に依存しない完全なエンドツーエンド訓練パイプラインは、従来の音響モデルで初期化されたシステムの性能にどの程度近づけるか？
• RQ4 ラベルスムージングは、特に蒸留と組み合わせた場合に、オンラインエンドツーエンドモデルの一般化性能を向上させるか？
• RQ5 短い発話を中心にしたカリキュラム学習は、オンラインASRにおける訓練の安定性と最終的なモデル精度を向上させるか？

主な発見

• 提案手法は、ランダム初期化されたオンラインLSTMモデルと比較して、相対的に19%のWER低減を達成し、Microsoft Cortanaタスクで33.2%のWERを記録した。
• 教師-生徒蒸留のみで12.2%の相対的WER改善が得られ、ラベルスムージングが13.7%、カリキュラム学習が7.8%の改善効果を示した。
• 蒸留、ラベルスムージング、カリキュラム学習の3つを組み合わせた場合が最良の性能を示し、結合トリファノンで初期化されたモデルとのWER差を10.2%の絶対差からわずか2.4%にまで縮小した。
• 教師-生徒蒸留とラベルスムージングを適用したモデルは、ランダム初期化ベースラインと比べて、正しい文字予測に対して一貫して高い信頼度を示した。
• オフラインBLSTMモデルに対してもラベルスムージングが有効であり、25.5%のWERを達成した。これは、正則化がアーキテクチャを問わず有効であることを示している。
• 本手法により、発音語彙や結合トリファノンシステムの必要性が完全に排除され、リソースが限られた言語においても適用可能であることが実証された。