[論文レビュー] Transformer Language Models with LSTM-based Cross-utterance Information Representation

Guangzhi Sun, C. Zhang+1 more|arXiv (Cornell University)|Feb 12, 2021

Speech Recognition and Synthesis参考文献 33被引用数 4

ひとこと要約

この論文では、自動音声認識のための発話間文脈表現を向上させるためにLSTMモジュールを統合したTransformer言語モデル、R-TLMを提案する。特定のTransformerブロックにおけるセグメント単位の再帰とLSTM隠れ状態の統合に加え、残差接続用の融合層を用いることで、R-TLMは単一発話のTLMに対して0.9–0.8%、強力な発話間ベースラインに対して0.5–0.2%の絶対的WER低減を達成した。有意性検定により改善が確認された。

ABSTRACT

The effective incorporation of cross-utterance information has the potential to improve language models (LMs) for automatic speech recognition (ASR). To extract more powerful and robust cross-utterance representations for the Transformer LM (TLM), this paper proposes the R-TLM which uses hidden states in a long short-term memory (LSTM) LM. To encode the cross-utterance information, the R-TLM incorporates an LSTM module together with a segment-wise recurrence in some of the Transformer blocks. In addition to the LSTM module output, a shortcut connection using a fusion layer that bypasses the LSTM module is also investigated. The proposed system was evaluated on the AMI meeting corpus, the Eval2000 and the RT03 telephone conversation evaluation sets. The best R-TLM achieved 0.9%, 0.6%, and 0.8% absolute WER reductions over the single-utterance TLM baseline, and 0.5%, 0.3%, 0.2% absolute WER reductions over a strong cross-utterance TLM baseline on the AMI evaluation set, Eval2000 and RT03 respectively. Improvements on Eval2000 and RT03 were further supported by significance tests. R-TLMs were found to have better LM scores on words where recognition errors are more likely to occur. The R-TLM WER can be further reduced by interpolation with an LSTM-LM.

研究の動機と目的

• 発話間文脈モデリングを向上させることにより、自動音声認識（ASR）性能を向上させること。
• 標準的なTLMが、特にレア語や誤認識されやすい語に対して、長距離依存関係を堅牢に表現できないという制限を克服すること。
• LSTMとTransformerアーキテクチャの相補的利点を活かすために、LSTM隠れ状態を特定のTransformerブロックに統合すること。
• 提案されたR-TLM構造の有効性を、AMI、Eval2000、RT03を含む標準ASRベンチマークで評価すること。
• R-TLMとスタンドアロンのLSTM-LMを統合することで、さらにWER低減が達成されるかを検討すること。

提案手法

• R-TLMアーキテクチャは、一部のTransformerブロックに1層のLSTMモジュールを統合し、発話セグメント間での再帰を可能にしている。
• LSTMモジュールは発話境界を越えて隠れ状態を保持し、自己注意機構だけでは十分にモデル化できない長距離依存関係を捉えている。
• 融合層を導入して、LSTM出力とTransformerブロック入力をショートカット接続により組み合わせ、勾配の流れを維持し、表現学習を強化している。
• Transformer-XLからのセグメント単位の再帰を用いて、1発話分を超える文脈を拡張し、以前のセグメントに注目できるようにしている。
• 大規模な会話のトランスクリプトデータ上でエンドツーエンドで学習されており、LSTM状態と拡張された注目範囲を介して、発話間文脈が明示的に符号化されている。
• 最終的なWER低減は、外部のLSTM-LMとの補間によって達成されており、両アーキテクチャの長所を組み合わせている。

実験結果

リサーチクエスチョン

• RQ1 特定のTransformerブロックにLSTMモジュールを統合することで、ASRのための言語モデルにおける発話間文脈表現が向上するか？
• RQ2 Transformer-XLからのセグメント単位の再帰とLSTMベースの隠れ状態再帰の組み合わせが、長距離依存関係のより堅牢なモデリングを可能にするか？
• RQ3 標準評価セットにおいて、R-TLMは強力なTLMベースラインと比較して、WERの改善が統計的に有意であるか？
• RQ4 誤認識されやすい語（トランスクリプトで誤って認識された語）に対して、LMスコアが低くなることで、R-TLMがより優れた耐障害性を示すか？
• RQ5 スタンドアロンのLSTM-LMとR-TLMを統合することで、さらなるWER低減が達成されるか？

主な発見

• AMI、Eval2000、RT03の各評価セットにおいて、R-TLMは単一発話TLMベースラインに対して、それぞれ0.9%、0.6%、0.8%の絶対的WER低減を達成した。
• 同じセットにおいて、強力な発話間TLMベースラインに対しては、それぞれ0.5%、0.3%、0.2%の絶対的WER低減を達成した。Eval2000とRT03の改善は有意性検定（p < 0.05）で確認された。
• R-TLMは、誤認識されやすい語（トランスクリプトで誤って認識された語）に対して低いLMスコア（より良い言語モデリング）を示し、音声的誤りに対してより強い耐性を示した。
• 拡張履歴を備えたTLM（TLM XL）はR-TLMより低いパープレキシティ（PPL）を示したが、WERは高かった。これは、R-TLMがPPLと同等の水準でも、レア語や誤認識されやすい語をよりよくモデル化していることを示唆している。
• 融合層とセグメント単位の再帰を備えたR-TLM（d-R-TLM XL）は、RT03で統計的に有意なWER改善（p = 0.001）を達成し、本手法の堅牢性を確認した。
• R-TLMとLSTM-LMを統合することでさらにWER低減が達成され、RT03では11.8%という最低のWERを達成した。両アーキテクチャの相補的利点が裏付けられた。