[論文レビュー] Cross-Utterance Language Models with Acoustic Error Sampling

Guangzhi Sun, Chao Zhang+1 more|arXiv (Cornell University)|Aug 19, 2020

Speech Recognition and Synthesis参考文献 37被引用数 5

ひとこと要約

本稿では、LSTMベースの抽出ネットワークを用いて周囲の発話から文脈情報を統合することで、自動音声認識（ASR）を向上させるクロス発話言語モデル（CULM）を提案する。最終状態または自己注意型符号化を用いる。さらに、トレーニングとテストの不一致を軽減するための音声エラーサンプリングを導入し、ベースラインLSTM言語モデルに対してAMIで0.6%、Switchboardで0.3%、Callhomeで0.9%の絶対的WER低減を達成した。

ABSTRACT

The effective exploitation of richer contextual information in language models (LMs) is a long-standing research problem for automatic speech recognition (ASR). A cross-utterance LM (CULM) is proposed in this paper, which augments the input to a standard long short-term memory (LSTM) LM with a context vector derived from past and future utterances using an extraction network. The extraction network uses another LSTM to encode surrounding utterances into vectors which are integrated into a context vector using either a projection of LSTM final hidden states, or a multi-head self-attentive layer. In addition, an acoustic error sampling technique is proposed to reduce the mismatch between training and test-time. This is achieved by considering possible ASR errors into the model training procedure, and can therefore improve the word error rate (WER). Experiments performed on both AMI and Switchboard datasets show that CULMs outperform the LSTM LM baseline WER. In particular, the CULM with a self-attentive layer-based extraction network and acoustic error sampling achieves 0.6% absolute WER reduction on AMI, 0.3% WER reduction on the Switchboard part and 0.9% WER reduction on the Callhome part of Eval2000 test set over the respective baselines.

研究の動機と目的

• 現在の発話以外の過去および未来の発話を含む文脈的情報を活用することで、自動音声認識（ASR）の性能を向上させること。
• クロス発話言語モデルにおけるトレーニング（参照字幕を用いて）とテスト時（ASRの予測結果を用いて）の不一致問題を解決すること。
• 新たなデータ拡張技術により、ASRエラーに対して一般化性と耐性を高める言語モデルの性能を向上させること。
• 共同学習フレームワーク内での異なる文脈ベクトル抽出手法（最終状態符号化および自己注意型符号化）の有効性を評価すること。

提案手法

• CULMアーキテクチャは、主なLSTM言語モデルと、周囲の発話を文脈ベクトルに符号化する補助LSTMエンコーダーからなる。
• 文脈ベクトルは2つの方法で生成される：(1) 各セグメントごとのエンコーダーLSTMの最終隠れ状態を連結し、全結合層で投影する、または (2) エンコーダー出力系列全体にマルチヘッド自己注意層を適用した後、投影する。
• 主なLSTMは、文脈ベクトルを補助入力として用い、単語埋め込みおよび隠れ状態と連結することで、次の単語の確率分布を予測する。
• モデルは交差エントロピー損失を用いて共同学習され、主な言語モデルと文脈抽出部のエンドツーエンド最適化が可能になる。
• 音声エラーサンプリングは、トレーニング中に文脈発話を模擬ASRエラー（置換、挿入、削除）で汚染することで導入され、実際のデコード条件を模倣する。
• エラー分布は、ASRシステム出力の分析ファイルから導出され、より現実的かつ効果的なサンプリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 周囲の発話を含む文脈的情報を統合することで、従来の自己回帰的言語モデルを超えるASR性能向上が達成可能か？
• RQ2 自己注意層を用いた文脈ベクトル統合は、単純な最終状態符号化に比べ、関連する発話間依存関係をより効果的に捉えられるか？
• RQ3 音声エラーサンプリングは、トレーニング（真値文脈）とテスト時（予測文脈）の不一致をどの程度軽減できるか？
• RQ4 提案手法は、特に多様なテストセットにおける異なる会話コーパスにどの程度一般化可能か？

主な発見

• 自己注意型文脈符号化と音声エラーサンプリングを組み合わせたCULMは、ベースラインLSTM言語モデルと比較してAMI評価セットで0.6%の絶対的WER低減を達成した。
• Eval2000テストセットのSwitchboard部において、最良のシステムはベースラインと比較して0.3%の絶対的WER低減を達成した。
• Eval2000テストセットのCallhome部において、提案手法は0.9%の絶対的WER低減を達成し、より困難な自然発話に対して優れた性能を示した。
• 音声エラーサンプリング技術は一般化性を向上させ、自己注意型CULMは真値文脈を使用しても、サンプリングなしのベースラインを上回った。これはデータ拡張効果を示している。
• エラー解析の結果、自己注意型符号化を用いることで、時制の不一致、語の繰り返し、代名詞の一貫性の欠如などの誤りが、関連する文脈語に注目することで効果的に是正された。
• 疑似パーセプトニティ（PPL）の結果は一貫した改善を示した：最良のシステムはAMIで55.3の疑似PPL、Callhomeで16.9のWERを達成し、より良い言語モデル化とデコード性能を示した。