[論文レビュー] Cascaded CNN-resBiLSTM-CTC: An End-to-End Speech Recognition Acoustic Model

Xinpei Zhou, Jiwei Li+1 more|arXiv (Cornell University)|Oct 29, 2018

Speech Recognition and Synthesis被引用数 1

ひとこと要約

この論文では、残留ブロックを双方向LSTMに統合して発音および意味特徴抽出を向上させるとともに、ハードネガティブサンプルに注目するための段階的構造を採用した、カスケード型CNN-resBiLSTM-CTCエンドツーエンドASRモデルを提案する。モデルはLibriSpeechテストクリーンで3.41%のWERを達成し、新しいバッチ可変トレーニング法により学習時間を25%短縮した。

ABSTRACT

Automatic speech recognition (ASR) tasks are resolved by end-to-end deep learning models, which benefits us by less preparation of raw data, and easier transformation between languages. We propose a novel end-to-end deep learning model architecture namely cascaded CNN-resBiLSTM-CTC. In the proposed model, we add residual blocks in BiLSTM layers to extract sophisticated phoneme and semantic information together, and apply cascaded structure to pay more attention mining information of hard negative samples. By applying both simple Fast Fourier Transform (FFT) technique and n-gram language model (LM) rescoring method, we manage to achieve word error rate (WER) of 3.41% on LibriSpeech test clean corpora. Furthermore, we propose a new batch-varied method to speed up the training process in length-varied tasks, which result in 25% less training time.

研究の動機と目的

• 生の音声からの特徴抽出を向上させることで、エンドツーエンド自動音声認識（ASR）のパフォーマンスを向上させること。
• ASRにおけるハードネガティブサンプルの課題に対処するため、焦点を当てた学習が可能な段階的アーキテクチャを導入すること。
• 長さが異なるシーケンスタスクにおける学習時間を短縮するため、新しいバッチ可変トレーニング戦略を提案すること。
• 最小限のデータ前処理で、LibriSpeechテストクリーンで最先端のWERを達成すること。

提案手法

• 双方向LSTM（BiLSTM）層内に残留ブロックを統合し、勾配の流れを改善し、音声シーケンス内の複雑な時間的依存関係を捉える。
• ハードネガティブサンプルに特に注目する段階的構造を採用し、モデルの一般化性能を向上させる。
• 生の音声入力からのスペクトル特徴抽出に高速フーリエ変換（FFT）を適用する。
• トランスクリプション出力を精緻化するためにn-gram言語モデル（LM）を用いて再スコアリングを行う。
• 可変バッチサイズを動的に調整することで、長さが異なるシーケンスに対する学習を高速化する新しいバッチ可変トレーニング法を提案する。
• 局所的特徴抽出にCNN、文脈モデリングに残留強化BiLSTM、シーケンス対シーケンスのアラインメントにCTCを組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 BiLSTM層における残留接続は、エンドツーエンドASRにおける発音および意味表現学習を向上させることができるか？
• RQ2 段階的アーキテクチャにより、ハードネガティブサンプルに注目することでモデル性能が向上するか？
• RQ3 バッチ可変トレーニング法は、長さが異なる音声シーケンスに対する学習時間を顕著に短縮できるか？
• RQ4 提案されたカスケード型CNN-resBiLSTM-CTCモデルを用いた場合、LibriSpeechテストクリーンでどの程度のWERが達成できるか？

主な発見

• 提案されたカスケード型CNN-resBiLSTM-CTCモデルは、LibriSpeechテストクリーンデータセットで語誤り率（WER）3.41%を達成した。
• BiLSTM層への残留ブロックの統合により、モデルの洗練された発音および意味特徴抽出能力が向上した。
• 段階的構造により、ハードネガティブサンプルに対する学習が効果的に向上し、ASR精度の向上に寄与した。
• バッチ可変トレーニング法により、長さが異なる音声シーケンスに対する学習時間が標準的な学習と比較して25%短縮された。
• FFTとn-gram言語モデルによる再スコアリングの組み合わせにより、追加の微調整を要せずともトランスクリプション品質が向上した。