[論文レビュー] Improved Regularization Techniques for End-to-End Speech Recognition

Yingbo Zhou, Caiming Xiong+1 more|arXiv (Cornell University)|Dec 19, 2017

Speech Recognition and Synthesis参考文献 18被引用数 12

ひとこと要約

本論文では、エンドツーエンドの音声認識モデル向けに、独立したテンポおよびピッチの拡張、ノイズ注入、マルチレイヤードドロップアウトという改善された正則化手法を提案する。これらの手法を組み合わせることで、WSJおよびLibriSpeechデータセットの両方で20%以上の相対的ワード誤り率（WER）の低減を達成し、WSJでは6.26%のWER、LibriSpeechでは5.67%のWERを記録し、新たな最先端の結果を樹立した。

ABSTRACT

Regularization is important for end-to-end speech models, since the models are highly flexible and easy to overfit. Data augmentation and dropout has been important for improving end-to-end models in other domains. However, they are relatively under explored for end-to-end speech models. Therefore, we investigate the effectiveness of both methods for end-to-end trainable, deep speech recognition models. We augment audio data through random perturbations of tempo, pitch, volume, temporal alignment, and adding random noise.We further investigate the effect of dropout when applied to the inputs of all layers of the network. We show that the combination of data augmentation and dropout give a relative performance improvement on both Wall Street Journal (WSJ) and LibriSpeech dataset of over 20%. Our model performance is also competitive with other end-to-end speech models on both datasets.

研究の動機と目的

• 高機能なエンドツーエンド音声認識モデルにおける過学習を低減するためのデータ拡張とドロップアウトの有効性を調査すること。
• 従来のスピード変更に代わる、音声データ拡張におけるテンポとピッチの独立的制御を可能にすることで、データの多様性を向上させること。
• エンドツーエンド音声認識において、出力層に限らずすべてのネットワーク層にドロップアウトを適用した影響を評価すること。
• データ拡張とドロップアウトを組み合わせることで、標準ベンチマークで最先端の性能が達成されることを示すこと。

提案手法

• SoX音声ツールを用いて、音声のテンポ、ピッチ、ボリューム、時間的アラインメントを独立して摂動させることで、生の音声レベルでのデータ拡張を実施した。
• ランダムな白色ノイズを注入し、ゲインを調整することで、学習用音声のノイズありバージョンを生成した。
• レイヤーごとのレートを設定したドロップアウトを実装：入力層で0.1、畳み込み層で0.2、再帰層および全結合層で0.3。
• 訓練の効率性と勾配の流れを向上させるために、深さ方向に分離された畳み込みと残差ブロック（ResNetスタイル）を採用した。
• すべてのレイヤーにバッチ正則化を適用し、シーケンスモデリングに4層の双向性GRUを使用した。
• 重み減衰を用いてモデルを訓練し、推論時には4-gram言語モデルを用いたビームサーチデコードを実施した。

実験結果

リサーチクエスチョン

• RQ1 生の音声レベルでのテンポとピッチの独立的摂動は、従来のスピード摂動よりも優れた一般化性能をもたらすか？
• RQ2 エンドツーエンド音声モデルのすべての入力レイヤーにドロップアウトを適用することで、過学習が顕著に低減され、性能が向上するか？
• RQ3 データ拡張とドロップアウトの併用効果は、エンドツーエンド音声認識におけるワード誤り率にどのように影響するか？
• RQ4 WSJやLibriSpeechといった標準ベンチマークにおいて、これらの正則化手法は、先行する最先端モデルと比較してどうなるか？

主な発見

• WSJデータセットでは、データ拡張とドロップアウトの組み合わせにより、ベースラインの8.38%から6.42%へとWERが低下し、相対改善率23.39%を達成した。
• LibriSpeech test-cleanでは、最終モデルが5.67%のWERを達成し、ベースラインの7.45%に対して23.89%の相対的改善を達成した。
• LibriSpeech test-otherでは、15.18%のWERを達成し、ベースラインの22.59%に対して32.80%の相対的改善を達成した。
• 標準トレーニングセットでのみ学習させたにもかかわらず、Amodeiら[9]の手法を含む最先端の手法と同等の性能を達成した。
• 訓練曲線から、正則化により訓練損失と検証損失の差が狭まり、一般化性能の向上が示された。
• アブレーションスタディの結果、データ拡張とドロップアウトの両方が個別に顕著な貢献を示し、併用した際の効果が最も顕著であった。