[論文レビュー] Speech Recognition with Deep Recurrent Neural Networks

Alex Graves, Abdelrahman Mohamed+1 more|arXiv (Cornell University)|Mar 22, 2013

Speech Recognition and Synthesis参考文献 21被引用数 10

ひとこと要約

この論文は、接続主義的時系列分類（CTC）および重みノイズ正則化を用いてエンド・ツー・エンドに訓練された、深さのある双方向LSTM（LSTM）再帰的ニューラルネットワークを導入し、TIMITベンチマークで17.7％の音素誤り率を達成した。これは、時間的および空間的両方の深さが、従来のRNNおよびフィードフォワードアプローチよりも音声認識性能を顕著に向上させることを示している。

ABSTRACT

Recurrent neural networks (RNNs) are a powerful model for sequential data. End-to-end training methods such as Connectionist Temporal Classification make it possible to train RNNs for sequence labelling problems where the input-output alignment is unknown. The combination of these methods with the Long Short-term Memory RNN architecture has proved particularly fruitful, delivering state-of-the-art results in cursive handwriting recognition. However RNN performance in speech recognition has so far been disappointing, with better results returned by deep feedforward networks. This paper investigates \emph{deep recurrent neural networks}, which combine the multiple levels of representation that have proved so effective in deep networks with the flexible use of long range context that empowers RNNs. When trained end-to-end with suitable regularisation, we find that deep Long Short-term Memory RNNs achieve a test set error of 17.7% on the TIMIT phoneme recognition benchmark, which to our knowledge is the best recorded score.

研究の動機と目的

• 複数のスタックされたLSTM層を備えた深さのある再帰的ニューラルネットワークが、標準的なRNNおよびフィードフォワードネットワークを上回る音声認識性能を実現できるかどうかを調査すること。
• 音声認識のシーケンスラベル付けにおいて、接続主義的時系列分類（CTC）およびTransducerフレームワークを用いたエンド・ツー・エンド学習の有効性を評価すること。
• 双方向的文脈、ネットワークアーキテクチャの深さ、および重みノイズのような正則化技術が音素認識精度に与える影響を評価すること。
• 深さのあるLSTMが、浅いネットワークや非再帰的深層ネットワークを上回る性能を示すかどうかを特定すること。

提案手法

• 複数の再帰層をスタックすることで、時間的および深さ方向の階層的表現学習を可能にする、深さのある双方向LSTM（LSTM）ネットワークを提案する。
• 変動する長さの入出力対応付けを強制的に整列させることなく処理できるように、接続主義的時系列分類（CTC）を用いてエンド・ツー・エンド学習を実施する。
• 学習された表現を単純化することで一般化性能を向上させるために、1回の訓練シーケンスごとに重みノイズ正則化を適用する。
• 入力シーケンスを前向きおよび後ろ向きの両方向に処理することで、過去と未来の文脈にアクセスできる双方向LSTM（BLSTM）を用いる。
• 推論では、ビーム幅100のビームサーチデコードを適用し、堅牢なシーケンス予測を確保する。
• 2段階の訓練戦略を採用：まずノイズなしで訓練し、その後ガウスノイズ（σ = 0.075）を用いた微調整により開発セットの誤り率を最小化する。

実験結果

リサーチクエスチョン

• RQ1 複数の再帰層をスタックすることで（空間的深さ）、標準的なRNNが持つ時間的深さを超えて、音声認識性能が顕著に向上するか？
• RQ2 双方向LSTMとCTCまたはTransducerによるエンド・ツー・エンド学習の組み合わせが、単方向または非再帰的深層ネットワークを上回る性能を示すか？
• RQ3 重みノイズによる正則化が、音声認識における深層LSTMモデルの一般化性能に与える影響は何か？
• RQ4 アーキテクチャの深さによる性能向上が、層ごとの隠れユニット数の増加よりも顕著であるか？
• RQ5 深さのある双方向LSTMと組み合わせた場合、音声認識タスクにおいて、音声と言語のモデリングを統合的に扱う（Transducerを介して）エンド・ツー・エンド学習がさらなる性能向上をもたらすか？

主な発見

• CTCおよび重みノイズを用いた深さのある双方向LSTM（PreTrans-3l-250h）は、TIMITコアテストセットで17.7％の音素誤り率（PER）を達成し、当時報告された最高の結果であった。
• ネットワークの深さを1層から5層に増加させることで、CTC誤り率は23.9％から18.4％に低下し、空間的深さが層の幅の増加よりも顕著な影響を及ぼしていることが示された。
• LSTMセルは標準的なtanhユニットを大きく上回り、CTC-3l-500h-tanh（tanh）は37.6％のPERを達成したのに対し、CTC-3l-250h（LSTM）は18.6％のPERを達成した。
• 双方向LSTMは単方向LSTMにわずかだが一貫した優位性を示し、CTC-3l-421h-uni（単方向）は19.6％のPERを達成したのに対し、その双方向版は18.6％のPERを達成した。
• 別個の音素予測ネットワークを用いてTransducerモデルを事前学習することで、性能は18.3％（Trans-3l-250h）から17.7％（PreTrans-3l-250h）に向上した。これは統合モデリングの利点を示している。
• 入力感度分析から、出力予測が複数の音素にわたる文脈に依存していることが判明し、CTCネットワークが音声データのみから暗黙の言語的依存関係を学習していることが示唆された。