[論文レビュー] Exploring RNN-Transducer for Chinese Speech Recognition

Senmao Wang, Pan Zhou+3 more|arXiv (Cornell University)|Nov 13, 2018

Speech Recognition and Synthesis参考文献 16被引用数 6

ひとこと要約

本稿では、中国語大語彙連続音声認識（LVCSR）におけるRNN-Transducer（RNN-T）の訓練手順を簡素化する手法を提案する。事前学習を不要とするために畳み込み層を統合し、学習率の減少スケジューリングとサブサンプリングを最適化している。1,000時間のコーパスで16.9%の文字誤り率（CER）を達成し、強力なBLSTM CEベースラインより2%の絶対的改善を示しており、構造的複雑性を最小限に抑えたエンドツーエンドのRNN-Tが従来のシステムを上回ることを示している。

ABSTRACT

End-to-end approaches have drawn much attention recently for significantly simplifying the construction of an automatic speech recognition (ASR) system. RNN transducer (RNN-T) is one of the popular end-to-end methods. Previous studies have shown that RNN-T is difficult to train and a very complex training process is needed for a reasonable performance. In this paper, we explore RNN-T for a Chinese large vocabulary continuous speech recognition (LVCSR) task and aim to simplify the training process while maintaining performance. First, a new strategy of learning rate decay is proposed to accelerate the model convergence. Second, we find that adding convolutional layers at the beginning of the network and using ordered data can discard the pre-training process of the encoder without loss of performance. Besides, we design experiments to find a balance among the usage of GPU memory, training circle and model performance. Finally, we achieve 16.9% character error rate (CER) on our test set which is 2% absolute improvement from a strong BLSTM CE system with language model trained on the same text corpus.

研究の動機と目的

• 中国語LVCSRにおけるRNN-Transducerに通常必要な複雑で段階的な訓練パイプラインを簡素化すること。
• CTCモデルによる事前学習の必要性をなくすために、畳み込み層と代替初期化戦略を導入すること。
• 学習率の減少スケジューリング、サブサンプリング、バッチサイズの管理を通じて、訓練の効率を最適化すること。
• 言語モデルによる初期化とサブサンプリングの影響がモデル性能およびGPUメモリ使用量に与える影響を評価すること。

提案手法

• 損失が上昇し始めた以降、各エポックで学習率を半分にする急激な学習率の減少戦略を提案し、収束を加速する。
• CTCモデルによる事前学習の必要性をなくすために、BLSTMエンコーダの前段に畳み込み層を導入する。
• マックスプーリングとピラミッドBLSTM層を用いたサブサンプリングにより、GPUメモリ使用量を削減し、訓練速度を向上させる。
• 発話文のトランスクリプションで事前に学習させた文字レベルのLSTM言語モデルを用いて予測ネットワークを初期化し、性能を向上させる。
• 位置と率の異なるさまざまなサブサンプリング設定を比較し、速度、メモリ使用量、精度のバランスをとる。
• すべての最適化を統合した1つのRNN-Tモデルを、事前学習や外部CTC初期化を一切用いずに、スクラッチから訓練する。

実験結果

リサーチクエスチョン

• RQ1 CTCモデルによる事前学習段階を省略することで、RNN-Tの訓練プロセスは簡素化可能か？
• RQ2 BLSTMエンコーダの前段に畳み込み層を追加すると、性能と訓練の複雑さにどのような影響を与えるか？
• RQ3 中国語ASRにおけるRNN-T訓練で、収束を最も効果的に加速する学習率の減少戦略は何か？
• RQ4 サブサンプリングはGPUメモリ使用量、訓練速度、モデル精度にどのように影響するか？
• RQ5 外部コーパスではなく、同じトランスクリプションデータで事前に学習させた言語モデルによる予測ネットワーク初期化は、性能向上に寄与するか？

主な発見

• 提案された学習率の減少戦略は、モデルの収束を著しく加速させるとともに、訓練の安定性を向上させる。
• BLSTMエンコーダの前段に畳み込み層を追加することで、CTCによる事前学習の必要性がなくなり、性能に損なわれることなく実現できる。
• ピラミッドBLSTMによる合計サブサンプリング率4〜6が、訓練速度、メモリ使用量、精度のバランスにおいて最良の妥協点を提供する。
• 同じトランスクリプションデータで事前に学習させた言語モデルによる予測ネットワーク初期化は、外部コーパスを用いた場合よりも優れた性能を達成する。
• 最終的なRNN-Tモデルは、1,000時間の中国語コーパスで16.9%のCERを達成し、言語モデルを併用した強力なBLSTM CEシステムより2%の絶対的改善を示した。
• 10,000時間のコーパスでは、外部言語モデルを用いずに10.52%のCERを達成し、遅延制御されたBLSTMシステム（11.30% CER）を上回った。