[論文レビュー] Neural Speech Recognizer: Acoustic-to-Word LSTM Model for Large Vocabulary Speech Recognition

Hagen Soltau, Hank Liao+1 more|arXiv (Cornell University)|Oct 31, 2016

Speech Recognition and Synthesis参考文献 15被引用数 57

ひとこと要約

本論文は、音声入力から直接単語を予測するための、深層双方向LSTM RNNとCTC損失を用いた競争力のあるエンドツーエンドの大規模語彙語彙音声認識システムを提示する。このシステムは、発音語彙や言語モデル、デコード処理を不要にした。125,000時間の半教師付きYouTube字幕データで学習させたモデルは、挑戦的なYouTube字幕変換タスクで13.4%の語誤り率を達成し、強力な従来の文脈依存音素ベースのシステムを上回った。

ABSTRACT

We present results that show it is possible to build a competitive, greatly simplified, large vocabulary continuous speech recognition system with whole words as acoustic units. We model the output vocabulary of about 100,000 words directly using deep bi-directional LSTM RNNs with CTC loss. The model is trained on 125,000 hours of semi-supervised acoustic training data, which enables us to alleviate the data sparsity problem for word models. We show that the CTC word models work very well as an end-to-end all-neural speech recognition model without the use of traditional context-dependent sub-word phone units that require a pronunciation lexicon, and without any language model removing the need to decode. We demonstrate that the CTC word models perform better than a strong, more complex, state-of-the-art baseline with sub-word units.

研究の動機と目的

• 従来の構成要素（発音語彙や言語モデルなど）を回避する簡素化されたエンドツーエンド音声認識システムの開発。
• 深層ニューラルネットワークによる直接的な語レベルモデリングが、大規模語彙タスクで競争力のある性能を達成できるかの調査。
• 125,000時間のYouTube字幕を用いた大規模な半教師付き学習により、語レベル音声モデリングにおけるデータスパarsityを克服すること。
• CTC損失が語レベルモデルのエンドツーエンド学習を可能にし、明示的なデコード処理を不要にする仕組みの有効性の評価。
• 語レベルモデルの性能を、サブワードユニットと言語モデルを用いた強力なベースラインシステムと比較すること。

提案手法

• モデルは、音声系列の長距離文脈を捉えるために、スタックされた前方および後方LSTM層を備えた深層双方向LSTM RNNアーキテクチャを採用している。
• ネットワークは、入力フレームとラベル系列の間のアライメントを自由に学習できるように、接続主義的時系列分類（CTC）損失で訓練されている。
• 出力層は100,000語の語彙（数値エンティティを含む）に対してソフトマックスを適用し、可変長アライメントに対応するための特別なブランクトークンを含む。
• CTC損失関数は、入力フレームとラベル系列の間のすべての可能なアライメントのラティス上で前向き・後向きアルゴリズムを用いて計算される。
• 語レベルユニットのためのデータスパarsityを軽減するために、公開YouTube動画の125,000時間にわたる半教師付き音声字幕データでモデルを学習している。
• 2つのバリエーションを評価：「発話語」モデル（出力を発話形で出力）と「書記語」モデル（出力を書記形に正規化）で、両者ともエンドツーエンドで学習されている。

Figure 1: The word posterior probabilities as predicted by the NSR model at each time-frame (30 msec) for a segment of music video ‘Stressed Out’ by Twenty One Pilots. We only plot the word with highest posterior and the missing words from the correct transcription: ‘Sometimes a certain smell will t

実験結果

リサーチクエスチョン

• RQ1 CTC損失を用いた深層双方向LSTM RNNは、語を音声ユニットとして使用する大規模語彙音声認識を効果的にモデル化できるか？
• RQ2 直接的な語レベルモデリングにより、エンドツーエンドシステムで発音語彙や言語モデルの必要性がなくなるか？
• RQ3 十分な訓練データがあれば、語レベル音声モデリングにおけるデータスパarsityを補えるのか？
• RQ4 CTCベースの語モデルの性能は、言語モデルとデコード処理を備えた強力な文脈依存音素ベースのシステムと比べてどうか？
• RQ5 言語モデルはCTC語モデルの性能にどの程度寄与するか、また、従来のシステムと比較してその影響はどの程度か？

主な発見

• CTC語モデルは、困難なYouTube動画字幕変換タスクで13.4%の語誤り率を達成し、14.2%のWERを示す強力な従来の文脈依存音素ベースのシステムを上回った。
• CTC語モデルは、言語モデルやデコード処理を一切使用しない発話ドメインで12.0%のWERを達成し、3000万語の5-gram言語モデルを備えたCD音素モデルをわずかに上回った。
• 言語モデルを追加することで、CTC発話語モデルのWERは12.0%から11.6%に改善され、従来のシステムと比較して言語モデルへの依存度が低いことが示された。
• CTC書記語モデルは、言語モデルでレコスリングしたラティスを用いることで13.4%のWERを達成し、わずか0.5%の改善にとどまった。これは、モデルがすでに非常に頑健であることを示唆している。
• モデルは優れた一般化性能を示し、トレーニングデータに含まれない音楽動画でさえも正確に字幕化できることが、定性的な結果から明らかになった。
• これらの結果は、大規模な半教師付きデータ（125,000時間）により、語レベルモデルの有効な学習が可能であり、サブワードユニットシステムの代替として実用的であることが確認された。