[論文レビュー] EESEN: End-to-End Speech Recognition using Deep RNN Models and WFST-based Decoding

Yajie Miao, Mohammad Gowayyed+1 more|arXiv (Cornell University)|Jul 29, 2015

Speech Recognition and Synthesis参考文献 29被引用数 169

ひとこと要約

この論文は、音声認識フレームワークとしてEESENを紹介している。EESENは、音響モデルに接続主義的時系列分類（CTC）を用いた深層双方向RNNと、WFSTに基づくデコード法を組み合わせ、語彙と言語モデルを効率的に統合する。ハイブリッドHMM/DNNシステムと同等の最先端のWERを達成すると同時に、デコード速度を3.2倍に向上させ、グラフサイズを45%削減し、エンド・ツー・エンドのASR研究のための簡素化されたオープンソースパイプラインを提供する。

ABSTRACT

The performance of automatic speech recognition (ASR) has improved tremendously due to the application of deep neural networks (DNNs). Despite this progress, building a new ASR system remains a challenging task, requiring various resources, multiple training stages and significant expertise. This paper presents our Eesen framework which drastically simplifies the existing pipeline to build state-of-the-art ASR systems. Acoustic modeling in Eesen involves learning a single recurrent neural network (RNN) predicting context-independent targets (phonemes or characters). To remove the need for pre-generated frame labels, we adopt the connectionist temporal classification (CTC) objective function to infer the alignments between speech and label sequences. A distinctive feature of Eesen is a generalized decoding approach based on weighted finite-state transducers (WFSTs), which enables the efficient incorporation of lexicons and language models into CTC decoding. Experiments show that compared with the standard hybrid DNN systems, Eesen achieves comparable word error rates (WERs), while at the same time speeding up decoding significantly.

研究の動機と目的

• GMM、強制アライメント、熟練者が調整したハイパーパrameterを必要とする、従来のハイブリッドHMM/DNN ASRシステムの複雑で多段階のパイプラインを簡素化すること。
• CTCを用いて同時系列モデリングを実現することで、GMMやフレームレベルのラベルに依存せずにエンド・ツー・エンドの音声認識を可能にすること。
• WFST合成を介して語彙と言語モデルを直接統合する、効率的でスケーラブルなデコード手法を提供すること。
• エンド・ツー・エンドのASR研究のための共通でオープンソースのベンチマークプラットフォームを確立し、モデル構成やデコード手法のばらつきを低減すること。
• 文脈独立のターゲット（発音記号／文字）を用いたエンド・ツー・エンドシステムが、強力なハイブリッドベースラインと同等またはそれ以上の性能を発揮できることを示すこと。

提案手法

• CTC目的関数を用いて、音声フレームからラベル列への変換をモデル化する、長短期記憶（LSTM）ユニットを用いた深層双方向RNNの学習。
• CTCを用いて、音声フレームと文脈独立ラベル（発音記号または文字）の間のアライメントを自動的に推定し、強制アライメントやGMMの必要性を排除すること。
• CTC出力、語彙、言語モデルを重み付き有限状態トランスダクタ（WFST）として表現し、1つのデコードグラフに効率的に合成すること。
• 合成されたWFSTグラフ上でビームサーチを適用し、統合された言語モデルを備えた効率的でラティスベースのデコードを実行すること。
• 数千のセノンから数十の発音記号／文字に状態数を削減することで、デコードの複雑さを顕著に低減すること。
• GPU上で混合精度学習と最適化されたメモリ使用を実装し、学習および推論の高速化を実現すること。

実験結果

リサーチクエスチョン

• RQ1 RNNとCTCのみを用いたエンド・ツー・エンドのASRシステムが、強力なハイブリッドHMM/DNNシステムと同等の性能を達成できるか？
• RQ2 速度や正確性を損なわずに、CTCベースのデコードに語彙と言語モデルを効率的かつ効果的に統合する方法は何か？
• RQ3 統一されたオープンソースフレームワークは、異なる研究グループにおけるエンド・ツー・エンドのASRシステムの開発とベンチマークを簡素化できるか？
• RQ4 文脈依存状態の代わりに文脈独立のターゲット（例：発音記号や文字）を用いることで、デコード速度とメモリ使用量が低下するか？
• RQ5 GMMや多段階学習の除去によって、ASRパイプラインはどれほど簡素化され、認識精度は維持または向上するのか？

主な発見

• 発音記号ベースのEESENシステムは、3-gram言語モデルを用いて7.87%の語誤り率（WER）を達成し、強力なハイブリッドHMM/DNNベースライン（7.14% WER）と同等の性能を示した。パラメータ数は850万（8.5M）で、ハイブリッドシステムの920万（9.2M）より少ない。
• EESENのデコードはハイブリッドHMM/DNNシステムの3.2倍高速であり、リアルタイム要因は0.64（ハイブリッドシステムは2.06）であった。これは、数千のセノンから数十の発音記号への状態数の著しい削減に起因する。
• EESENのデコードグラフ（263MB）は、ハイブリッドシステムで用いられるHCLGグラフ（480MB）より45%小さく、ディスクストレージ要件を低減した。
• 文字ベースのEESENシステムは、再訓練された3-gram言語モデルを用いて7.34%のWERを達成し、同じWSJベンチマークで、Gravesら（8.7%）やHannunら（14.1%）の先行エンド・ツー・エンドシステムを上回った。
• EESENの結果は、GMMやハイブリッドDNNモデルによる干渉なしに、完全にエンド・ツー・エンドのパイプラインから得られたものであり、先行研究とは異なり、n-best再スコアリングにハイブリッドモデルを用いていなかった。
• EESENのオープンソースリリースは、将来的な研究のための標準化され拡張可能なプラットフォームを提供し、エンド・ツー・エンドのASRシステム間での公平な比較を可能にした。