[論文レビュー] Deep-FSMN for Large Vocabulary Continuous Speech Recognition

Shiliang Zhang, Ming Lei+2 more|arXiv (Cornell University)|Mar 4, 2018

Speech Recognition and Synthesis被引用数 13

ひとこと要約

この論文は、勾配消失を軽減するための層間スキップ接続を備えた、拡張されたフィードフォワード順序記憶ネットワーク（Deep-FSMN、DFSMN）を提案する。スキップ接続と低フレームレート（LFR）処理を統合することで、DFSMNは顕著なWERSの低減を達成し、英語FisherタスクではBLSTM比で1.5%の絶対的改善（9.4% WER）を達成し、20,000時間規模の中国語タスクでは20%以上の相対的改善を示す。また、制御可能な先行フィルターオーダーを備えた低遅延推論が可能である。

ABSTRACT

In this paper, we present an improved feedforward sequential memory networks (FSMN) architecture, namely Deep-FSMN (DFSMN), by introducing skip connections between memory blocks in adjacent layers. These skip connections enable the information flow across different layers and thus alleviate the gradient vanishing problem when building very deep structure. As a result, DFSMN significantly benefits from these skip connections and deep structure. We have compared the performance of DFSMN to BLSTM both with and without lower frame rate (LFR) on several large speech recognition tasks, including English and Mandarin. Experimental results shown that DFSMN can consistently outperform BLSTM with dramatic gain, especially trained with LFR using CD-Phone as modeling units. In the 2000 hours Fisher (FSH) task, the proposed DFSMN can achieve a word error rate of 9.4% by purely using the cross-entropy criterion and decoding with a 3-gram language model, which achieves a 1.5% absolute improvement compared to the BLSTM. In a 20000 hours Mandarin recognition task, the LFR trained DFSMN can achieve more than 20% relative improvement compared to the LFR trained BLSTM. Moreover, we can easily design the lookahead filter order of the memory blocks in DFSMN to control the latency for real-time applications.

研究の動機と目的

• 大ボキャブラリー連続音声認識（LVCSR）のための非常に深いフィードフォワード順序記憶ネットワーク（FSMN）における勾配消失と学習不安定性を解消すること。
• アーキテクチャ的革新を通じて、より深い安定したアーキテクチャを実現し、BLSTMのような再帰的モデルを上回る性能を達成すること。
• メモリブロック内の制御可能な先行フィルターオーダーを設計することで、リアルタイムアプリケーションにおける低遅延推論を可能にすること。
• 2,000時間規模の英語および20,000時間規模の中国語データセットを用いた大規模な音声認識タスクにおいて、LFR条件下で提案されたDFSMNの評価を行うこと。

提案手法

• 深層ネットワークにおける勾配消失を軽減するために、FSMNの隣接層間のメモリブロックにスキップ接続を導入し、情報の流れを促進する。
• 長期間の時系列依存性をモデル化するため、バックとフォワードのフィルターオーダーを持つ学習可能なFIR型メモリブロックをFSMNアーキテクチャに追加する。
• 計算コストとデコード遅延を低減しながら認識精度を維持するため、DFSMNと低フレームレート（LFR）処理を統合する。
• パフォーマンス劣化が生じないよう、残差型スキップ接続を備えた深層FSMNレイヤースタックを用いて、より深いネットワーク深度を実現する。
• メモリブロック内の先行フィルターオーダーを設計することで、遅延を制御し、最小限のパフォーマンス損失でリアルタイム展開を可能にする。
• すべてのモデルを、複数のGPU上で分散最適化（BMUF）を用いたフレーム単位の交差エントロピー基準で学習する。

実験結果

リサーチクエスチョン

• RQ1 FSMNのような深層フィードフォワードアーキテクチャにおいて、スキップ接続が大規模なLVCSRタスクにおける学習安定性と性能を顕著に向上させることができるか？
• RQ2 大規模コーパス上で低フレームレート（LFR）で学習された場合、DFSMNはBLSTMと比べて語誤り率（WER）でどの程度優れているか？
• RQ3 LCBLSTM（遅延制御BLSTM）と比較して、DFSMNは認識精度を維持または向上させながら、どの程度遅延を低減できるか？
• RQ4 標準的なcFSMNとは異なり、DFSMNのより深いアーキテクチャは、劣化を伴わずに一貫した性能向上をもたらすか？
• RQ5 同じ条件下で、DFSMNはモデルサイズを小さく抑え、学習速度を速くすることでBLSTMを上回る性能を達成できるか？

主な発見

• 2,000時間規模の英語Fisher（FSH）タスクにおいて、DFSMNは交差エントロピー学習と3-gram言語モデルのみを用いて9.4%の語誤り率（WER）を達成し、BLSTM比で1.5%の絶対的改善を示した。
• 20,000時間規模の中国語認識タスクにおいて、LFRで学習されたDFSMNは、LFRで学習されたLCBLSTMよりも20%以上の相対的WER改善を達成したが、モデルサイズは小さかった。
• 150msの遅延（5フレームの先行）を持つDFSMNは、1,200msの遅延（40フレームの先行）を持つLCBLSTMを上回り、優れた遅延-性能トレードオフを示した。
• DFSMNの学習速度はLCBLSTMの約3倍速く、デコードのリアルタイム要因（RTF）も約3倍改善された。
• cFSMNは過剰な深さ（例：10層）で性能が劣化するが、DFSMNはスキップ接続のおかげで、より深いアーキテクチャにおいても一貫した改善を示した。
• 提案されたDFSMNアーキテクチャは、先行フィルターオーダーの制御により遅延を調整可能であり、精度を損なわずリアルタイムアプリケーションに適している。