[論文レビュー] LSTM-LM with Long-Term History for First-Pass Decoding in Conversational Speech Recognition

Xie Chen, Sarangarajan Parthasarathy+3 more|arXiv (Cornell University)|Oct 21, 2020

Speech Recognition and Synthesis参考文献 28被引用数 4

ひとこと要約

本稿では、WFSTデコーダーを用いて会話形音声認識の最初のパスデコーディング中に、以前の発話からの長期的文脈をLSTM言語モデル（LSTM-LM）に統合する手法を提案する。LSTM-LMが発話間で隠れ状態を維持できる能力を活用することで、2番目のパス再スコアリングよりも顕著に単語誤り率（WER）を改善し、全履歴文脈を用いることで相対的に4.3%のWER低減を達成した。

ABSTRACT

LSTM language models (LSTM-LMs) have been proven to be powerful and yielded significant performance improvements over count based n-gram LMs in modern speech recognition systems. Due to its infinite history states and computational load, most previous studies focus on applying LSTM-LMs in the second-pass for rescoring purpose. Recent work shows that it is feasible and computationally affordable to adopt the LSTM-LMs in the first-pass decoding within a dynamic (or tree based) decoder framework. In this work, the LSTM-LM is composed with a WFST decoder on-the-fly for the first-pass decoding. Furthermore, motivated by the long-term history nature of LSTM-LMs, the use of context beyond the current utterance is explored for the first-pass decoding in conversational speech recognition. The context information is captured by the hidden states of LSTM-LMs across utterance and can be used to guide the first-pass search effectively. The experimental results in our internal meeting transcription system show that significant performance improvements can be obtained by incorporating the contextual information with LSTM-LMs in the first-pass decoding, compared to applying the contextual information in the second-pass rescoring.

研究の動機と目的

• 会話形音声認識における最初のパスデコーディングにおいて、以前の発話からの長期的文脈を統合する可能性と有効性を調査すること。
• n-gram言語モデルが短い履歴しかモデル化できないこと、および最初のパスデコーディングにおける探索空間を制限することの制限を克服すること。
• LSTM-LMが最初のパスデコーディング中に発話間文脈を効果的に活用できるかどうかを検討すること。
• 最初のパスデコーディングにおける文脈統合と2番目のパス再スコアリングの性能を比較し、WERと探索空間の質に注目すること。
• 参照出力と仮説に基づく文脈の影響、および文末トークンの役割が文脈モデル化に与える影響を評価すること。

提案手法

• 本研究では、リアルタイムの最初のパスデコーディングにおいてLSTM-LMを統合できるWFSTデコーダーを採用し、長期的文脈を伴う動的ラティス生成を可能にした。
• LSTM-LMは発話単位のトランスクリプトで学習されたが、発話間で隠れ状態を維持することで長期的依存関係をモデル化した。
• 以前の発話からの文脈は、前回の発話におけるLSTM-LMの隠れ状態を現在のデコーディング処理にフィードバックすることで統合された。
• 本手法では、参照トランスクリプトと以前の発話からの仮説出力を両方の文脈として用い、文脈の質に影響を与えるアブレーションスタディを可能にした。
• 文末トークン（<s>）を文脈から除外することで、その影響を評価した。
• 同じn-bestリストを用いた2番目のパス再スコアリングと比較することで、公平な性能評価を実現した。

実験結果

リサーチクエスチョン

• RQ1 LSTM-LMは会話形音声認識の最初のパスデコーディングにおいて、以前の発話からの長期的文脈を効果的に活用できるか？
• RQ2 最初のパスデコーディングに発話間文脈を統合することで、2番目のパス再スコアリングに同じ文脈を適用するのと比較して、より良いWERが得られるか？
• RQ3 文脈の質（参照 vs. 仮説）が、LSTM-LMを用いた最初のパスデコーディングの性能に与える影響は何か？
• RQ4 最大のWER低減を達成するためには、何個の以前の発話を文脈に含めるのが最適か？
• RQ5 文脈に文末トークン（<s>）が存在するかどうかが、最初のパスデコーディングにおけるLSTM-LMの性能に向上または悪化をもたらすか？

主な発見

• 完全な参照履歴を最初のパスデコーディングに用いることで、WERは15.51%に低下し、文脈なしのベースラインと比較して相対的に4.3%の改善が得られた。
• 異なる数の以前の発話を含む場合に、文脈統合によるWER低減効果は一貫しており、2つの以前の発話を超えるとわずかな増加にとどまった。
• 文脈を最初のパスデコーディングに統合した場合、2番目のパス再スコアリングよりも0.3–0.4%の絶対的WER低減を達成した。これは、n-gram言語モデルがn-bestリストで正しいパスを早期に pruning している可能性を示している。
• 参照ベースの文脈は仮説ベースの文脈を上回ったが、差はわずか（1%未満の相対差）であり、認識誤りに対しても頑健であることが示された。
• 文脈から文末トークン（<s>）を除外することで、わずかだが一貫したWERの改善が得られた。これは、境界トークンが長期的整合性モデル化を妨げている可能性を示唆している。
• LSTM-LMのパープレクサリティ（PPL）は、履歴なしの96.9から4つの以前の発話を含む81.4に低下し、文脈を用いることで言語モデルの質が向上していることが確認された。