[論文レビュー] Increasing Deep Neural Network Acoustic Model Size for Large Vocabulary Continuous Speech Recognition

Andrew L. Maas, Awni Hannun+4 more|arXiv (Cornell University)|Jun 30, 2014

Speech Recognition and Synthesis参考文献 11被引用数 20

ひとこと要約

この論文は、大規模なボキャブラリー連続音声認識において、分散GPU環境を用いた大規模な深層ニューラルネットワーク（DNN）音声モデルのスケーリングを調査している。十分な訓練データが利用可能な場合、モデルサイズを拡大することで単語誤り率（WER）が顕著に低下することが判明した—特に2,000時間のFisherコーパスにおいては、モデルサイズの拡大が訓練データが豊富な状況で直接的な性能向上をもたらすことを示している。

ABSTRACT

Deep neural networks (DNNs) are now a central component of nearly all state-of-the-art speech recognition systems. Part of the promise of DNNs is their ability to represent increas-ingly complex functions as the number of DNN parameters increases. This paper investigates the performance of DNN-based hybrid speech recognition systems as DNN model size and training data increase. Using a distributed GPU architec-ture, we train DNN acoustic models roughly an order of mag-nitude larger than those typically found in speech recognition systems. DNNs of this scale achieve substantial reductions in final system word error rate despite training with a loss func-tion not tightly coupled to system error rate. However, training word error rate improvements do not translate to large improve-ments in test set word error rate for systems trained on the 300 hour Switchboard conversational speech corpus. Scaling DNN acoustic model size does prove beneficial on the Fisher 2,000 hour conversational speech corpus. Our results show that with sufficient training data, increasing DNN model size is an effec-tive, direct path to performance improvements. Moreover, even smaller DNNs benefit from a larger training corpus. Index Terms: speech recognition, neural networks, acoustic modeling

研究の動機と目的

• DNN音声モデルのサイズを拡大した場合の音声認識性能への影響を調査すること。
• 誤り率に依存しない損失関数を用いて訓練しても、モデルサイズが拡大するにつれてシステム性能が向上するかどうかを評価すること。
• 限られたデータコーパスと大規模データコーパスの両方において、より大きなモデルが性能を向上させるかどうかを特定すること。
• ハイブリッドDNN-HMMシステムにおけるモデルサイズと訓練データ規模のスケールの相互作用を評価すること。

提案手法

• 通常の音声認識システムよりも約1桁大きいモデルサイズにまで拡大できるように、分散GPUアーキテクチャを用いてDNN音声モデルを訓練した。
• 単語誤り率（WER）に直接最適化されていない標準的なDNN訓練目的関数を用い、モデル容量の増大に伴う一般化性能を評価した。
• 300時間のSwitchboardと2,000時間のFisher会話音声データセットという2つのコーパスを比較した。
• モデルサイズと訓練データのスケーリング後のシステムレベルの性能を評価するため、テストセットにおける単語誤り率（WER）を測定した。
• 音声認識にハイブリッドDNN-HMMアーキテクチャを維持し、音声モデルの改善に焦点を当てた。

実験結果

リサーチクエスチョン

• RQ1 DNN音声モデルのサイズを拡大することで、大規模ボキャブラリー連続音声認識において測定可能な単語誤り率（WER）の低減が達成されるか？
• RQ2 訓練セットにおけるWERの改善が、どれほどテストセットの性能向上に反映されるか？
• RQ3 モデルスケーリングの有効性は、利用可能な訓練データのサイズにどのように依存するか？
• RQ4 誤り率に直接結びつかない損失関数で訓練された大規模DNNでも、より良い性能が達成可能か？

主な発見

• WERに直接最適化されていない損失関数を用いても、DNNモデルサイズの拡大により単語誤り率（WER）が顕著に低下した。
• 300時間のSwitchboardコーパスでは、訓練時のWER改善が有意義なテストセットでのWER低減に結びつかなかった。これは、データ制限がスケーリングの利点を阻害していることを示している。
• 2,000時間のFisherコーパスでは、モデルサイズの拡大によりテストセットにおけるWERに明確で測定可能な改善が得られた。これは、データ容量がモデルスケーリングによる利点を実現可能にしていることを示している。
• より小さなDNNでも、より大きな訓練コーパスからの恩恵を受けることができた。これは、データとモデルのスケーリングが相乗効果をもたらすことを示唆している。
• 十分な訓練データが利用可能な場合、モデルサイズの拡大が性能向上への直接的かつ効果的な手段であることが確認された。