[論文レビュー] Class LM and word mapping for contextual biasing in End-to-End ASR

Rongqing Huang, Ossama Abdel‐Hamid+2 more|arXiv (Cornell University)|Jul 10, 2020

Speech Recognition and Synthesis参考文献 24被引用数 7

ひとこと要約

本稿では、希少でユーザー固有の固有名詞のエンドツーエンドASRを改善する二段階の手法を提案する：(1) スコア正規化を伴うビームサーチ中に文脈に適した有限状態トランスダーサー（FST）を統合することで、WERを57%低減し、(2) G2Pモデルを用いて希少語をより一般的な発音にマッピングすることで、さらに31%のWER低減を達成した。この手法は、通常の会話にほとんど影響を与えず、固有名詞の発話において全体で70.6%のWER低減を達成した。

ABSTRACT

In recent years, all-neural, end-to-end (E2E) ASR systems gained rapid interest in the speech recognition community. They convert speech input to text units in a single trainable Neural Network model. In ASR, many utterances contain rich named entities. Such named entities may be user or location specific and they are not seen during training. A single model makes it inflexible to utilize dynamic contextual information during inference. In this paper, we propose to train a context aware E2E model and allow the beam search to traverse into the context FST during inference. We also propose a simple method to adjust the cost discrepancy between the context FST and the base model. This algorithm is able to reduce the named entity utterance WER by 57% with little accuracy degradation on regular utterances. Although an E2E model does not need pronunciation dictionary, it's interesting to make use of existing pronunciation knowledge to improve accuracy. In this paper, we propose an algorithm to map the rare entity words to common words via pronunciation and treat the mapped words as an alternative form to the original word during recognition. This algorithm further reduces the WER on the named entity utterances by another 31%.

研究の動機と目的

• エンドツーエンドASRモデルが、連絡先やアプリ名などの希少でユーザー固有の固有名詞に対して著しく性能を発揮しない問題に対処すること。
• モデルが明示的な言語モデルや発音辞書を備えていないにもかかわらず、推論時に動的かつ文脈に応じたバイアスを適用できるようにすること。
• ベースモデルと文脈的FSTパス間のコスト差を低減することで、ビームサーチの精度を向上させること。
• 既存の語彙を用いて、OoV語をより一般的な発音形にマッピングすることで、認識可能性を向上させること。
• 挑戦的で個人的なコンテンツに特化した性能向上を図る一方で、通常の非固有名詞発話における高い正答率を維持すること。

提案手法

• 著者らは、BPEトークン化を用いたLAS-MOCHAモデルを訓練し、固有名詞の境界を示すために、訓練時に文脈ラベル（例：@contact# および #contact@）を発話文に埋め込む。
• 推論時、ユーザー固有の文脈リストから重み付き有限状態トランスダーサー（WFST）を構築し、ビームサーチに統合することで、モデルが文脈FSTを経由して探索できるようにする。
• ベースモデルのパスと文脈FSTのパス間の対数尤度スコアをバランスさせるためにスコア正規化技術を適用し、スケーリング係数 λc と λb を用いる。
• 希少語に対しては、bi-LSTMベースの文字から発音への変換（G2P）モデルが発音を生成し、語をより一般的な発音形にマッピングすることで認識可能性を向上させる。
• マッピングされた語列を用いて代替FSTパスを構築し、元の文脈FSTと組み合わせることで、より頑健な認識を実現する。
• 本手法は、固有名詞発話と通常発話セットにおけるWERを用いて評価され、正規化と語マッピングに関するアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 ビームサーチ中にユーザー固有の文脈FSTを統合することで、エンドツーエンドASRにおける固有名詞発話のWERを著しく低減できるか？
• RQ2 ベースモデルと文脈FSTパス間のスコア正規化により、通常発話の性能を損なうことなく認識精度が向上するか？
• RQ3 発音ベースの語マッピングにより、希少語やOoV固有名詞のWERが、より一般的で認識されやすい形に変換されることで低減できるか？
• RQ4 文脈FSTの統合と語マッピングを組み合わせた場合、特に挑戦的な固有名詞入力において、全体のWER低減にどのような効果をもたらすか？
• RQ5 異なる数の固有名詞を含む発話において、本手法の性能はどのように変化するか？

主な発見

• 文脈FSTとスコア正規化を用いることで、固有名詞発話のWERは18.1%から9.0%に低下し、相対的に50%の低減と相対WERの57%改善が達成された。
• 発音ベースの語マッピングを追加することで、同じ発話セットのWERは、元のFSTを用いた場合の6.5%から4.5%に低下し、FST単体のベースライン比で31%の相対的低減が達成された。
• 両手法を組み合わせた場合、FSTなしのベースラインと比較して、固有名詞発話における全体のWER低減率は70.6%に達した。
• 通常発話ではわずかに0.1%のWER上昇（8.4%から8.5%）に留まり、非ターゲット入力に対して非常に高い頑健性を示した。
• 図1に示すように、異なる数のバイアス語句を含む発話においても、WER低減効果が一貫しており、広範な適用可能性を示した。
• 表4のサンプル事例では、'Yvanna' や 'Vandendriessche' といった希少語が語マッピング後に正しく認識され、モデルが 'ivana' や 'vandendraci' といった正しい発話に変換したことが確認された。