[論文レビュー] Exploring Architectures, Data and Units For Streaming End-to-End Speech Recognition with RNN-Transducer

Kanishka Rao, Haşim Sak+1 more|arXiv (Cornell University)|Jan 2, 2018

Speech Recognition and Synthesis参考文献 15被引用数 10

ひとこと要約

この論文は、RNN-Transducer (RNN-T)アーキテクチャを用いたストリーミングエンドツーエンド音声認識について検討し、エンコーダーをCTCで事前学習し、デコーダーをテキストのみの言語モデルで事前学習することで性能が著しく向上することを示している。30,000語素を出力ユニットとして用いることで、音声検索では8.5%、音声入力では5.2%の語誤り率（WER）を達成し、単一の統合ニューラルネットワークで最先端の性能を実現した。

ABSTRACT

We investigate training end-to-end speech recognition models with the recurrent neural network transducer (RNN-T): a streaming, all-neural, sequence-to-sequence architecture which jointly learns acoustic and language model components from transcribed acoustic data. We explore various model architectures and demonstrate how the model can be improved further if additional text or pronunciation data are available. The model consists of an `encoder', which is initialized from a connectionist temporal classification-based (CTC) acoustic model, and a `decoder' which is partially initialized from a recurrent neural network language model trained on text data alone. The entire neural network is trained with the RNN-T loss and directly outputs the recognized transcript as a sequence of graphemes, thus performing end-to-end speech recognition. We find that performance can be improved further through the use of sub-word units (`wordpieces') which capture longer context and significantly reduce substitution errors. The best RNN-T system, a twelve-layer LSTM encoder with a two-layer LSTM decoder trained with 30,000 wordpieces as output targets achieves a word error rate of 8.5\% on voice-search and 5.2\% on voice-dictation tasks and is comparable to a state-of-the-art baseline at 8.3\% on voice-search and 5.4\% voice-dictation.

研究の動機と目的

• ストリーミングエンドツーエンド音声認識（ASR）の性能を、RNN-Transducer（RNN-T）アーキテクチャを用いて向上させること。
• モデルアーキテクチャの深さ、事前学習戦略、出力ユニットの影響がWERに与える影響を調査すること。
• 外部のテキストおよび発音データを統合することで、エンドツーエンドモデル内の言語モデル能力がどのように向上するかを評価すること。
• グラフムと比較して、語素のようなサブワードユニットが、誤り率、特に置換誤りを低減し、認識精度を向上させるかを評価すること。

提案手法

• RNN-Tモデルは、12層のLSTMエンコーダーを採用し、音声、グラフム、語素のターゲットを異なる深さで使用した階層的CTC事前学習で初期化する。
• デコーダーは、テキストのみのデータで事前学習された別個の言語モデルで初期化された2層のLSTMであり、語素を出力ユニットとして使用する。
• RNN-T損失を用いて、入力音声から直接トランスクリプトを予測するように、全モデルを共同で学習する。
• 語素ユニットは、1k、10k、30kの語彙サイズでバイトペア符号化（BPE）を用いて生成され、より長い文脈を捉え、未知語問題を軽減する。
• 10番目のエンコーダー層の後に時間的畳み込み層を適用し、系列長を3分の1に短縮することで、推論速度を向上させつつWERに影響を与えない。
• 発音データは、階層的CTC事前学習を介して統合され、中間層で音声のターゲットを用いることで、発音モデルの性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 CTCで事前学習されたエンコーダーが、ストリーミングエンドツーエンドASRにおけるRNN-T性能にどのように寄与するか？
• RQ2 テキストのみの言語モデルと発音データを統合することで、エンドツーエンドASRシステムの言語モデル能力がどの程度向上するか？
• RQ3 グラフムと比較して、語素のようなサブワードユニットが、語誤り率、特に置換誤りを低減するにはどうか？
• RQ4 ストリーミングRNN-T ASRで最先端の性能を達成するには、最適なアーキテクチャの深さと出力ユニットサイズ（例：1k、10k、30k語素）は何か？

主な発見

• 12層のLSTMエンコーダーを階層的CTCで事前学習することで、5%相対のWER低減が達成され、5層のエンコーダーと比較してさらに10%相対の改善が得られた。
• デコーダーLSTMをテキストのみのデータで事前学習することで、5%相対のWER低減が得られ、音声検索では0.6%絶対値、音声入力では0.4%絶対値の改善が得られた。
• 30,000語素を出力ユニットとして使用することで、音声検索で8.5%、音声入力で5.2%のWERにまで低減され、強力な従来型ベースライン（それぞれ8.3%および5.4%）と同等の性能を達成した。
• 語素は置換誤りを1.5ポイント低減させ、グラフムと比較して2.3%の絶対値のWER改善をもたらした。これは主に、より良い言語文脈モデリングによるものである。
• 発音データの事前学習により、音声検索のWERが5%相対（0.6%絶対値）改善され、'barbara stanwick' → 'barbara stanwyck' や 'sequoia casino' → 'sycuan casino' といった誤りが是正された。
• テキストデータの事前学習により、'soldier boy' → 'soulja boy' や 'lorenzo llamas' → 'lorenzo lamas' といった誤りが是正され、文脈内の言語モデルの能力が向上したことが示された。