[論文レビュー] Deep context: end-to-end contextual speech recognition

Golan Pundak, Tara N. Sainath+3 more|arXiv (Cornell University)|Aug 7, 2018

Speech Recognition and Synthesis参考文献 19被引用数 9

ひとこと要約

本稿では、文脈的フレーズの学習済み埋め込みを共同最適化することで、外部の再スコアリングを必要とせず動的で文脈に配慮した音声認識を可能にする、エンド・トーエンドのニューラルASRモデルであるContextual-LAS（CLAS）を提案する。CLASは、OOVが多く含まれるデータセットにおいて、従来のシャロウ・フュージョン手法に比べて最大68%の相対的WER低減を達成する一方で、OOV用語のサポートを維持し、ハイパラメータチューニングの必要性を排除する。

ABSTRACT

In automatic speech recognition (ASR) what a user says depends on the particular context she is in. Typically, this context is represented as a set of word n-grams. In this work, we present a novel, all-neural, end-to-end (E2E) ASR sys- tem that utilizes such context. Our approach, which we re- fer to as Contextual Listen, Attend and Spell (CLAS) jointly- optimizes the ASR components along with embeddings of the context n-grams. During inference, the CLAS system can be presented with context phrases which might contain out-of- vocabulary (OOV) terms not seen during training. We com- pare our proposed system to a more traditional contextualiza- tion approach, which performs shallow-fusion between inde- pendently trained LAS and contextual n-gram models during beam search. Across a number of tasks, we find that the pro- posed CLAS system outperforms the baseline method by as much as 68% relative WER, indicating the advantage of joint optimization over individually trained components. Index Terms: speech recognition, sequence-to-sequence models, listen attend and spell, LAS, attention, embedded speech recognition.

研究の動機と目的

• 従来のASRシステムが文脈統合のための別個の言語モデルと外部の再スコアリングに依存するという制限を解決すること。
• 音声認識、言語モデル、文脈的要因を統合的に最適化するエンド・トーエンドの全ニューラルフレームワークを構築すること。
• トレーニング時に事前に文脈フレーズを知らなくても、文脈に配慮した音声認識においてOOV用語の効果的認識を可能にすること。
• 大量の文脈フレーズを扱う際のスケーラビリティの問題を克服すること、これは標準的なアテンションベースの文脈モデリングで性能が低下する要因である。

提案手法

• CLASは、Listen, Attend and Spell（LAS）アーキテクチャを拡張し、共通の埋め込み層を用いて入力の文脈フレーズを固定次元のベクトルに変換する文脈エンコーダーを導入する。
• 文脈埋め込みは、各デコードステップで文脈表現に注目するアテンションメカニズムを経由して処理され、動的にデコーダーの予測を変調する。
• モデルはエンド・トーエンドで訓練され、ASRと文脈モデリングの両方を最適化する共同目的関数を用いるため、外部の再スコアリングなしに文脈依存の表現を学習できる。
• スケーラビリティの向上のため、本稿ではバイアス・コンディショニングを導入し、文脈フレーズを接頭語と接尾語に分割することで、ユニークな文脈セグメント数を削減し、埋め込み相関を最小限に抑える。
• 推論時においては可変長の文脈フレーズをサポートでき、OOV用語はサブワードユニットからその表現を学習することで処理できる。
• 再スコアリング重みの手動チューニングを回避するため、文脈をモデルのアテンションメカニズムに直接統合する。

実験結果

リサーチクエスチョン

• RQ1 エンド・トーエンドのニューラルモデルは、従来のシャロウ・フュージョン手法に比べ、音声認識と文脈に配慮した言語モデリングをより効果的に共同最適化できるか？
• RQ2 文脈フレーズの数が増加する際、特にOOV用語が存在する状況において、共同でトレーニングされた文脈に配慮したASRモデルの性能はどのようにスケーリングするか？
• RQ3 文脈フレーズの数が非常に多くなると、アテンションベースの文脈モデリングにどのような限界が生じるか、そしてそれらはどのように緩和できるか？
• RQ4 バイアス・コンディショニング技術は、正確性を損なわせることなく、文脈に配慮したASRモデルのスケーラビリティを向上させることができるか？

主な発見

• CLASは、OOV率が非常に高いSongsおよびContactsテストセットにおいて、従来のLAS + OTF再スコアリングベースラインに比べ、最大68%の相対的WER低減を達成する。
• Songsテストセットでは、CLASは9.4%のWERを達成するLAS + OTF再スコアリングに対して6.9%のWERを記録し、OOVが多く含まれる状況での顕著な性能向上を示す。
• 数千の文脈フレーズを含むTalk-Toテストセットでは、標準的なCLASは文脈埋め込み同士の相関が高いため性能が低下し、WERが14%にまで上昇する。
• バイアス・コンディショニングにより、ユニークな文脈セグメント数は3,255から225に削減されたが、総フレーズセグメント数はわずか10%増加にとどまり、スケーラビリティの大幅な向上が実現された。
• バイアス・コンディショニングとOTF再スコアリングを組み合わせることで、Talk-ToテストセットのWERは5.6%に低下し、単体のCLASやLAS + OTFベースラインを上回る性能を達成した。
• アブレーションスタディの結果、バイアス・コンディショニングとOTF再スコアリングはそれぞれ独立してCLASの性能を向上させ、両方を併用した際が最も顕著な向上を示した。