[論文レビュー] Fast and Robust Unsupervised Contextual Biasing for Speech Recognition

Young Mo Kang, Yingbo Zhou|arXiv (Cornell University)|May 4, 2020

Speech Recognition and Synthesis参考文献 20被引用数 13

ひとこと要約

本稿では、推論時に動的言語モデル構築を必要とせず、事前学習されたクラスベース言語モデルを用いて語彙語のバイアススコアを事前計算する、非教師ありで高速かつ頑健な文脈バイアス化手法を提案する。この手法により、関連する文脈を用いた認識精度が向上し、不適切または悪意ある文脈に対しても強い耐性を示す。従来の補間ベース手法に比べ、頑健性と効率性の両面で優れている。

ABSTRACT

Automatic speech recognition (ASR) system is becoming a ubiquitous technology. Although its accuracy is closing the gap with that of human level under certain settings, one area that can further improve is to incorporate user-specific information or context to bias its prediction. A common framework is to dynamically construct a small language model from the provided contextual mini corpus and interpolate its score with the main language model during the decoding process. Here we propose an alternative approach that does not entail explicit contextual language model. Instead, we derive the bias score for every word in the system vocabulary from the training corpus. The method is unique in that 1) it does not require meta-data or class-label annotation for the context or the training corpus. 2) The bias score is proportional to the word's log-probability, thus not only would it bias the provided context, but also robust against irrelevant context (e.g. user mis-specified or in case where it is hard to quantify a tight scope). 3) The bias score for the entire vocabulary is pre-determined during the training stage, thereby eliminating computationally expensive language model construction during inference. We show significant improvement in recognition accuracy when the relevant context is available. Additionally, we also demonstrate that the proposed method exhibits high tolerance to false-triggering errors in the presence of irrelevant context.

研究の動機と目的

• 一般言語モデルで未知語またはスコアが低いドメイン特化語や個人化語のASR精度向上の課題に対処すること。
• 推論時に明示的かつ計算コストの高い文脈言語モデル構築を回避すること。
• トレーニングデータや文脈に対してメタデータ、クラスラベル、アノテーションを必要とせずに文脈バイアス化を可能とすること。
• 不要または悪意ある文脈語による誤発動に対する耐性を高めること。
• トレーニング時にバイアススコアを事前計算することで、推論効率を高めること。

提案手法

• 本手法は、一般コーパス上で学習された非教師ありクラスベース言語モデルから、n-gram統計を用いて語を重複のないクラスにクラスタリングすることでバイアススコアを導出する。
• 語彙内の各語に対して、式 (2) に従い、クラス内での語の周辺確率に基づいてバイアススコアを計算する。この式はクラスレベルのn-gramカウントと語固有のカウントを分離する。
• 推論時、バイアススコア $ s_B(w|H) $ がベース言語モデルスコア $ s_G(w|H) $ に加算され、最終スコア $ s(w|H) = s_G(w|H) + s_B(w|H) $ が得られる。
• バイアススコアは語の対数尤度に比例するため、頻度が高く文脈に関連する語には強いバイアスがかかる一方、希少語や無関係語への過学習が最小限に抑えられる。
• フレーズ拡張およびOOV（語彙外語）方式の両方を文脈統合に使用でき、最適なパフォーマンスを得るためのハイパーパrameter $ \lambda $ と $ \alpha $ が調整されている。
• トレーニング時にすべてのバイアススコアを事前計算することで、実行時における言語モデル構築を回避し、推論オーバーヘッドを顕著に削減する。

実験結果

リサーチクエスチョン

• RQ1 推論時に動的言語モデル構築を伴わず、効果的な文脈バイアス化を実現できるか？
• RQ2 トレーニングデータや文脈に対してクラスラベルやメタデータを必要とせずに、文脈バイアス化を可能とできるか？
• RQ3 本手法は、不要または悪意ある文脈語による誤発動に対してどの程度耐性を示すか？
• RQ4 非教師ありクラスタリングにおけるクラス数が、頑健性と精度に与える影響は何か？
• RQ5 標準的な言語モデル構築と比較して、本手法の計算オーバーヘッドはどの程度か？

主な発見

• 関連する文脈が提供された場合、本手法は相対的に4.0%のWER低減を達成し、顕著な精度向上を示した。
• 10,000件の干渉語（無関係な文脈）を含むOOV方式では、WERの低下はたった0.37パーセンテージポイントにとどまり、誤発動に対する高い耐性を示した。
• 5,000クラスを用いた場合、10,000件の干渉語に対してもWERの上昇はたった0.03パーセンテージポイントにとどまり、過剰バイアス化に対する強い頑健性を示した。
• 推論時間のオーバーヘッドは、10,000語分の文脈語に対して470 msにまで低下した（KenLMベースのモデル構築と比較して1,288 ms）。計算効率の高さを裏付けた。
• 10,000個の一般的な語を文脈として悪意あるテストに用いた場合でも、5,000クラスでWERは17%未満を維持した。過剰バイアス化に対する耐性を確認した。
• バイアススコアの内在的分布のおかげで、本手法はベースラインの補間ベース手法に比べ、特に干渉語が多い状況下でも頑健性に優れている。