[論文レビュー] LSTM Language Models for LVCSR in First-Pass Decoding and Lattice-Rescoring

Eugen Beck, Wei Zhou+2 more|arXiv (Cornell University)|Jul 1, 2019

Speech Recognition and Synthesis参考文献 31被引用数 20

ひとこと要約

この論文では、LVCSRにおける神経言語モデルの精度を能率的に活用するため、最初のパスでLSTM言語モデル（LSTM-LM）によるデコードとラティス再スコアリングを組み合わせたハイブリッドデコード戦略を提案する。同じ最後の2語を共有する仮説を再結合し、GPGPUハードウェア上でその結果得られるラティスを再スコアリングすることで、実時間での推論速度（RTF ≈ 1）で競争力のあるWER（Hub5'00で11.7%）を達成し、標準的なバックオフLMデコードやラティス再スコアリングのみの手法を上回る性能を発揮する。

ABSTRACT

LSTM based language models are an important part of modern LVCSR systems as they significantly improve performance over traditional backoff language models. Incorporating them efficiently into decoding has been notoriously difficult. In this paper we present an approach based on a combination of one-pass decoding and lattice rescoring. We perform decoding with the LSTM-LM in the first pass but recombine hypothesis that share the last two words, afterwards we rescore the resulting lattice. We run our systems on GPGPU equipped machines and are able to produce competitive results on the Hub5'00 and Librispeech evaluation corpora with a runtime better than real-time. In addition we shortly investigate the possibility to carry out the full sum over all state-sequences belonging to a given word-hypothesis during decoding without recombination.

研究の動機と目的

• LSTM-LMを音声認識デコードに統合する際の高い計算コストを軽減すること。
• 従来のバックオフ言語モデルと比較して、精度を維持または向上させつつデコード効率を向上させること。
• HMM状態系列全体に対するフルサムデコードの実現可能性を検討すること。
• 大ボキャブラリー課題における最初のパスでLSTM-LMを用いたデコード、再結合およびラティス再スコアリングの性能を評価すること。
• GPGPU加速デコードを用いて、競争力のあるWERと実時間推論を実現することを示すこと。

提案手法

• GPGPU上で最初のパスでLSTM-LMによるデコードを実行し、最後の2語に基づく再結合制限を用いて探索空間を削減する。
• 同じトリグラムコンテキストを共有する仮説を、ラティス再スコアリングの前に統合して計算負荷を低減する。
• 得られたラティスを、同じLSTM-LMを用いて再スコアリングし、語列の確率を精緻化する。
• パス確率の合算を最大化ではなく、変更された動的計画法関数を用いて計算することで、フルサムデコードを可能にする。
• RWTH ASRツールキットから拡張されたデコーダフレームワークを用い、ツリー条件付き探索と動的LM状態管理をサポートする。
• 将来の最適化として、ノイズ対比推定（NCE）を検討し、大ボキャブラリー課題における推論時間を短縮する。

実験結果

リサーチクエスチョン

• RQ1 再結合を最小限に抑えつつ、実時間性能を維持できるように、LSTM-LMを最初のパスデコードに効果的に適用できるか？
• RQ2 最初のパスデコード後に再結合を経てLSTM-LMによるラティス再スコアリングを実施した場合、バックオフLMによる再スコアリングのみと比較してWERが改善するか？
• RQ3 HMM状態系列全体に対するフルサムデコードは、ビタビデコードと比較して認識精度を向上させられるか？
• RQ4 最初のパスLSTMデコードの計算コストはボキャブラリーのサイズにどのように依存するか？また、大ボキャブラリー課題向けに最適化可能か？
• RQ5 再結合と再スコアリングの組み合わせは、WERとRTFの観点から、エンドツーエンドのLSTM-LMデコードを上回る性能を発揮するか？

主な発見

• 提案手法は、Hub5'00評価セットでRTF ≈ 1の実時間性能を達成しながら11.7%のWERを達成し、高い精度を実現した。
• 再結合を経てLSTM-LMによるラティス再スコアリングを実施した場合、バックオフLMによる再スコアリングのみと比較してWERが改善した。
• フルサムデコードを混乱ネットワークデコードと組み合わせた場合、WERは11.7%から11.4%に改善されたが、探索空間のサイズが増加した。
• Librispeech dev-cleanセットでは、最良の戦略（最初のパスでLSTM-LMを用いた再結合および再スコアリング）がRTF ≈ 6.95で2.39%のWERを達成し、ボキャブラリーが大きい場合に計算コストが高くなることが示された。
• Librispeechの「other」条件では、「clean」条件と比較して著しく遅延が高くなる（RTF約4倍）ことが原因は、音声スコアが類似しているためである。
• 標準的なバックオフLMデコードやバックオフモデルを用いたラティス再スコアリングを上回ることで、LSTM-LMをデコーディングパイプラインの初期段階に統合することの利点が確認された。