[論文レビュー] Fast and Accurate Recurrent Neural Network Acoustic Models for Speech Recognition

Haşim Sak, Andrew Senior+2 more|arXiv (Cornell University)|Jul 24, 2015

Speech Recognition and Synthesis被引用数 7

ひとこと要約

本論文では、フレームスタッキング、フレームレートの低減、文脈依存（CD）音声モ델、およびsMBRとCTCを用いた系列学習を用いて、大ボキャブラリー音声認識のためのLSTM RNN音声モデルを改善する手法を提示する。これらの技術により、精度が著しく向上し、CD音声CTCモデルは従来のハイブリッドモデル比で相対誤差を8%削減する。また、言語モデルを用いずに中規模ボキャブラリーのタスクにおいても、直接的な単語レベルモデリングが可能となり、有望な結果が得られた。

ABSTRACT

We have recently shown that deep Long Short-Term Memory (LSTM) recurrent neural networks (RNNs) outperform feed forward deep neural networks (DNNs) as acoustic models for speech recognition. More recently, we have shown that the performance of sequence trained context dependent (CD) hidden Markov model (HMM) acoustic models using such LSTM RNNs can be equaled by sequence trained phone models initialized with connectionist temporal classification (CTC). In this paper, we present techniques that further improve performance of LSTM RNN acoustic models for large vocabulary speech recognition. We show that frame stacking and reduced frame rate lead to more accurate models and faster decoding. CD phone modeling leads to further improvements. We also present initial results for LSTM RNN models outputting words directly.

研究の動機と目的

• 大ボキャブラリー音声認識（LVCSR）のためのLSTM RNN音声モデルの精度と効率を向上させること。
• フレームスタッキングとフレームレートの低減が、CTC学習の収束安定性とデコード速度に与える影響を検証すること。
• CTC学習済みLSTM RNNにおける文脈依存（CD）音声モデリングおよび直接的な単語レベル出力の有効性を評価すること。
• CTCベースのモデルと従来のハイブリッドHMM-DNNシステムを比較し、系列学習による性能向上を評価すること。

提案手法

• 時間的依存性をモデル化するため、スタックされた層を有する単方向および双方向の深層LSTM RNNを用いる。
• 可変長アラインメントを処理するために強制アラインメントを必要としない、ブランク記号を含む接続主義的時系列分類（CTC）を適用する。
• 学習安定性の向上と計算コストの低減のため、フレームスタッキングとフレームレートの低減を実装する。
• 大規模クラスタ上で分散学習を実行するため、非同期的確率的勾配降下法（ASGD）を用いる。
• 初期学習後のCTCモデルを精緻化するために、sMBR基準に基づく系列的判別的学習を適用する。
• 言語モデルを用いずに、原始的な特徴量から直接単語を予測するエンドツーエンドの単語レベル音声モデルをCTCを用いて学習する。

実験結果

リサーチクエスチョン

• RQ1 フレームスタッキングとフレームレートの低減は、音声認識におけるCTC学習済みLSTM RNNの収束安定性と推論速度を向上させることができるか？
• RQ2 CTCベースのLSTM RNNにおいて、文脈依存（CD）音声モデリングは、文脈独立または状態レベルモデリングに比べて顕著に性能を向上させるか？
• RQ3 CTCによる直接的な単語レベル音声モデリングは、言語モデルや言語モデルデコードを用いずに、競争力のある認識精度を達成できるか？
• RQ4 sMBRによる系列学習は、標準的な交差エントロピー学習と比較して、CTCベースのLSTM RNNの性能にどのように影響を与えるか？
• RQ5 従来のアラインメント手法は、ブランク記号のないRNNではなぜ失敗するのか？CTCはこの問題をどのように解決するか？

主な発見

• CTCとsMBR学習を用いたCD音声モデリングにより、最良の従来のハイブリッドLSTMモデル比で語誤り率（WER）が相対的に8%削減された。
• フレームスタッキングとフレームレートの低減により、学習安定性が向上し、デコード時間が短縮されたが、精度は維持または向上した。
• 7,000語の語彙を持つ双方向CTCモデルは、保留データ上でWER 11.8%を達成し、単方向モデル比で25%低いWERを記録した。
• 25,000語の語彙を持つ単語レベルCTCモデルは、語彙内語でWER 14.5%を達成し、中規模ボキャブラリーのタスクにおいて実現可能性を示した。
• ブランク記号を含まないモデルは任意のアラインメントを生成したため、CTCにおける安定な系列モデリングのためにはブランク記号の必要性が確認された。
• CTCモデルのラベルポスターリアは、言語モデルを用いなくても、発音境界に一致するスパイク的で非一様な予測を示し、強固な時間的局所化が可能であることが示された。