[論文レビュー] End-to-end Speech Recognition with Word-based RNN Language Models

Takaaki Hori, Jaejin Cho+1 more|arXiv (Cornell University)|Aug 8, 2018

Speech Recognition and Synthesis参考文献 22被引用数 9

ひとこと要約

この論文では、エンドツーエンドASRにおける別個の文字ベース言語モデルの必要性を排除する動的前方参照機構を備えた語ベースRNN言語モデルを提案する。計算コストを削減しつつ、競争力のある精度を達成する。65K語の語彙を用いてWSJ Eval'92セットで5.1%のWERを達成し、これまでで最高の性能を記録した。

ABSTRACT

This paper investigates the impact of word-based RNN language models (RNN-LMs) on the performance of end-to-end automatic speech recognition (ASR). In our prior work, we have proposed a multi-level LM, in which character-based and word-based RNN-LMs are combined in hybrid CTC/attention-based ASR. Although this multi-level approach achieves significant error reduction in the Wall Street Journal (WSJ) task, two different LMs need to be trained and used for decoding, which increase the computational cost and memory usage. In this paper, we further propose a novel word-based RNN-LM, which allows us to decode with only the word-based LM, where it provides look-ahead word probabilities to predict next characters instead of the character-based LM, leading competitive accuracy with less computation compared to the multi-level LM. We demonstrate the efficacy of the word-based RNN-LMs using a larger corpus, LibriSpeech, in addition to WSJ we used in the prior work. Furthermore, we show that the proposed model achieves 5.1 %WER for WSJ Eval'92 test set when the vocabulary size is increased, which is the best WER reported for end-to-end ASR systems on this benchmark.

研究の動機と目的

• エンドツーエンドASRにおける別個の文字ベースRNN-LMの必要性をなくし、学習および解釈のオーバーヘッドを低減すること。
• 複数レベルのLM解釈を単一の語ベースRNN-LMに置き換え、前方参照による語確率を提供することで、解釈効率を向上させること。
• 複数レベルのLMシステムと同等またはそれ以上の認識精度を達成しながら、計算およびメモリコストを最小限に抑えること。
• 語彙サイズを変化させたWSJおよびLibriSpeechベンチマークで、このアプローチの有効性を検証すること。

提案手法

• ビームサーチ中に将来の語確率を用いて次に来る文字を予測する、語ベースRNN-LMにおける前方参照機構を導入する。
• 語ベースRNN-LMを用いて、語境界だけでなく内部の文字列に対しても言語モデルスコアを提供し、文字ベースLMの役割を置き換える。
• 解釈中にエンコーダーデコーダー出力と語ベースRNN-LMを対数確率ドメインで組み合わせることで、スパarsely融合を適用する。
• 仮説を語ベースRNN-LMと動的前方参照を用いてスコア付けするビームサーチ戦略を採用し、別個の文字レベルLMの必要性を回避する。
• WSJおよびLibriSpeechの音声認識データから得たトランスクリプトのみを用いて、2層のLSTMと1層あたり650ユニットの語ベースRNN-LMを学習する。
• 主なASRモデルとして、300ユニットの1層の単方向LSTMデコーダーと、1層あたり320ユニットの8層のBLSTMエンコーダーを用いる。

実験結果

リサーチクエスチョン

• RQ1 前方参照機能を備えた単一の語ベースRNN-LMが、文字ベースおよび語ベースLMの両方の必要性を排除できるか？
• RQ2 提案手法が、計算コストを削減しつつ、複数レベルのLMシステムと同等またはそれ以上の認識精度を達成できるか？
• RQ3 標準ベンチマークにおいて、語彙サイズの増加に伴い、前方参照語ベースRNN-LMの性能はどのように変化するか？
• RQ4 WSJおよびLibriSpeechのような多様なデータセットにおいて、文字レベルLMを必要とせずに、高い精度を維持できるか？

主な発見

• 提案された前方参照語ベースRNN-LMは、65K語の語彙を用いてWSJ Eval'92テストセットで5.1%のWERを達成し、このベンチマークにおけるエンドツーエンドASRで報告された最低のWERとなった。
• 前方参照LMを用いた解釈では、語彙が20Kおよび65Kの場合にそれぞれ40%および65%の時間短縮が達成された。
• 65K語の語彙であっても、前方参照LMは複数レベルLMの55%の解釈時間にまで短縮でき、顕著な効率向上を示した。
• LibriSpeechでは、65K語の語彙を用いて、dev cleanで5.4%、dev otherで15.6%のWERを達成し、複数レベルLMと同等の性能を示した。
• 別個の文字ベースRNN-LMの学習を不要とすることで、モデル学習の複雑さとメモリ使用量が削減された。
• 前方参照機構は、語彙サイズが増加するにつれて、WSJおよびLibriSpeechの両方で一貫した誤り低減効果を示した。