[論文レビュー] Improving LSTM-CTC based ASR performance in domains with limited training data

Jayadev Billa|arXiv (Cornell University)|Jul 3, 2017

Speech Recognition and Synthesis参考文献 19被引用数 9

ひとこと要約

この論文は、最大摂動データ拡張、スタック/ストライド特徴、および高度なドロップアウト技術（NMLおよびフォワードドロップアウト）を組み合わせることで、低データ環境下におけるLSTM-CTCベースの自動音声認識（ASR）の性能を向上させた。提案手法は、LibriSpeech 100時間データセットでWERを7.37%まで低下させ、強力なKaldiベースのハイブリッドDNNベースライン（7.91% WER）を上回り、低リソース環境における性能格差を効果的に是正した。

ABSTRACT

This paper addresses the observed performance gap between automatic speech recognition (ASR) systems based on Long Short Term Memory (LSTM) neural networks trained with the connectionist temporal classification (CTC) loss function and systems based on hybrid Deep Neural Networks (DNNs) trained with the cross entropy (CE) loss function on domains with limited data. We step through a number of experiments that show incremental improvements on a baseline EESEN toolkit based LSTM-CTC ASR system trained on the Librispeech 100hr (train-clean-100) corpus. Our results show that with effective combination of data augmentation and regularization, a LSTM-CTC based system can exceed the performance of a strong Kaldi based baseline trained on the same data.

研究の動機と目的

• 低リソースドメインにおけるLSTM-CTCとハイブリッドDNN-CE ASRシステムの性能格差を解消すること。
• LibriSpeech 100時間コーパスという低データベンチマーク上でのLSTM-CTC ASR性能を向上させること。
• データ拡張と正則化が、エンドツーエンドのLSTM-CTCシステムを複雑なハイブリッドDNNシステムと同等に競合可能にする可能性を示すこと。
• 制限されたリソース下でも、改善効果が一般化可能であるか、あるいはコーパス固有のものではないかを検証すること。

提案手法

• 最大摂動を適用し、許容可能な最大値を用いて特徴を摂動させる、変更されたデータ拡張技術を用いて、トレーニングデータの多様性を向上させる。
• スタックおよびストライド処理を施したメルスペクトログ램特徴（例：3x3または5x5フレーム）を用い、時間的モデリングおよび文脈表現を向上させる。
• 過学習を防ぐために、再帰層における正則化手法としてNML（ノード単位の最大プーリング）およびフォワードドロップアウトを実装する。
• NMLとフォワードドロップアウトを確率的およびカスケード構成の両方で組み合わせ、汎化性能とロバスト性を向上させる。
• EESENツールキットを用いてCTC損失関数を最適化し、バリデーションセットのトークン正答率を最適化する、深層双向LSTM-CTCモデルを訓練する。
• バリデーション性能の向上が1エポックあたり0.5%未満に低下した場合に学習率を半減させる「newbob」法による学習率スケジューリングを適用する。

実験結果

リサーチクエスチョン

• RQ1 最大摂動のようなデータ拡張技術が、低データ環境下におけるLSTM-CTC ASR性能を顕著に向上させ得るか？
• RQ2 特徴スタックとストライドの組み合わせが、エンドツーエンドASRシステムの認識精度を向上させるか？
• RQ3 NMLおよびフォワードドロップアウトといった高度なドロップアウト技術が、LSTM-CTCモデルにおける過学習の低減に標準ドロップアウトを上回る効果を示すか？
• RQ4 複数の正則化および拡張戦略の組み合わせが、LSTM-CTCとハイブリッドDNN-CE ASRシステム間の性能格差を解消するのに十分か？
• RQ5 これらの改善効果はLibriSpeech 100hコーパスを超えて一般化可能か、それともデータセット固有のものか？

主な発見

• 最大摂動によるデータ拡張は、ベースライン比で6.6%相対的にWERを低減し、従来のスピード摂動法を上回った。
• 確率的構成でのNMLとフォワードドロップアウトの組み合わせにより、WERは7.44%に低下し、個別に適用したドロップアウト手法よりも4.5%相対的に改善された。
• カスケードドロップアウト構成（NML-シーケンス → フォワードステップ）が最良のWER 7.37%を達成し、KaldiベースのハイブリッドDNNベースライン（7.91%）を上回った。
• 最終的なLSTM-CTCシステムでは、ベースラインの11.81%からWERが7.37%に低下し、Kaldiベースラインとの初期の30–35%のWER格差が解消された。
• 複数の構成にわたり、改善効果が強固かつ一貫していたことから、これらの手法の組み合わせが単一手法よりも顕著に効果的であることが示された。
• 計算リソースが限られた状況下でも、LibriSpeech 100hベンチマークで最先端の性能を達成した。これは、低リソースASR分野への広範な応用可能性を示唆している。