[論文レビュー] A novel pyramidal-FSMN architecture with lattice-free MMI for speech recognition

Xuerui Yang, Jiwei Li+1 more|arXiv (Cornell University)|Oct 26, 2018

Speech Recognition and Synthesis参考文献 16被引用数 13

ひとこと要約

本稿では、階層的な記憶構造を層間で統合し、特徴抽出を向上させるためにres-CNNを組み込んだ、新規のピラミダル-FSMNアーキテクチャを提案する。lattice-free MMIとCEの共同学習を組み合わせることで、Librispeechでは3.62%のWERを達成し、RNNLMの再スコアリングを施すと2.97%まで低下し、当時の最先端性能を示した。

ABSTRACT

Deep Feedforward Sequential Memory Network (DFSMN) has shown superior performance on speech recognition tasks. Based on this work, we propose a novel network architecture which introduces pyramidal memory structure to represent various context information in different layers. Additionally, res-CNN layers are added in the front to extract more sophisticated features as well. Together with lattice-free maximum mutual information (LF-MMI) and cross entropy (CE) joint training criteria, experimental results show that this approach achieves word error rates (WERs) of 3.62% and 10.89% respectively on Librispeech and LDC97S62 (Switchboard 300 hours) corpora. Furthermore, Recurrent neural network language model (RNNLM) rescoring is applied and a WER of 2.97% is obtained on Librispeech.

研究の動機と目的

• 深層ニューラルネットワークにおける文脈モデリングの向上を通じて、音声認識性能を改善すること。
• 標準的なFSMNが多スケールの時間的依存関係を捉えることの制限を解消すること。
• より豊かな特徴表現を得るために、残差畳み込み層（res-CNN）を統合すること。
• 強制アライメントを必要とせず、音響モデルを最適化するlattice-free MMI学習を活用すること。
• LibrispeechおよびSwitchboardベンチマークで最先端の結果を達成すること。

提案手法

• 長距離依存関係を階層的にモデル化するために、層間で時間的プーリングと線形変換を適用するピラミダル記憶構造を提案する。
• 入力から階層的で判別性の高い特徴を抽出するために、入力部に残差畳み込み（res-CNN）層を導入する。
• ピラミッド構造を備えた深層順方向逐次記憶ネットワーク（DFSMN）をバックボーンとして採用し、複数の受容野をモデル化する。
• 音響モデルの一般化性能を向上させるために、lattice-free最大相互情報量（LF-MMI）と交差エントロピー（CE）基準の共同学習を適用する。
• 仮説の更なる精緻化とWERの低減を図るため、RNNLMによる再スコアリングを用いる。

実験結果

リサーチクエスチョン

• RQ1 階層的記憶構造は、FSMNに基づく音声認識システムにおける文脈モデリングを改善できるか？
• RQ2 残差畳み込み層の追加は、端末から端末までの音声認識における特徴表現を向上させるか？
• RQ3 標準的な学習と比較して、LF-MMIとCEの共同学習はさらにWERを改善できるか？
• RQ4 提案されたアーキテクチャは、LibrispeechやSwitchboardといった標準ベンチマークでどのように性能を発揮するか？
• RQ5 RNNLMの再スコアリングは、新規アーキテクチャと組み合わせることで、どれほどWERを低減できるか？

主な発見

• 提案されたピラミダル-FSMNは、Librispeechテストセットで3.62%の語誤り率（WER）を達成し、先行するFSMNベースのモデルを上回った。
• LDC97S62（Switchboard 300時間）コーパスでは、10.89%のWERを達成し、優れた一般化性能を示した。
• RNNLMによる再スコアリングを施した場合、LibrispeechのWERはさらに2.97%まで低下し、最先端性能に近づいた。
• res-CNN層の統合により、特徴抽出が顕著に向上し、モデルの精度向上に寄与した。
• LF-MMIとCEの共同学習により、モデルのロバスト性と一般化性能が向上し、特にリソースが限られた状況下でも顕著であった。