[論文レビュー] Streaming Small-Footprint Keyword Spotting using Sequence-to-Sequence Models

Yanzhang He, Rohit Prabhavalkar+4 more|arXiv (Cornell University)|Oct 26, 2017

Speech Recognition and Synthesis参考文献 35被引用数 4

ひとこと要約

本論文では、任意のキーワードの検出を改善するために、注意メカニズムを用いた新しいキーワードバイアス化技術を備えた再帰的ニューラルネットワーク変換器（RNN-T）を用いたストリーミングで小規模なキーワード検出（KWS）システムを提案する。RNN-Tモデルは音声認識と言語モデルを統合的に学習し、発音記号をターゲットとし、語末トークンを追加することで、1時間あたり0.05件の誤検出という条件下で、誤拒否率（FRR）を強力なCTCベースのベースラインと比較して39％（8.9％ vs. 14.5％）低減した。

ABSTRACT

We develop streaming keyword spotting systems using a recurrent neural network transducer (RNN-T) model: an all-neural, end-to-end trained, sequence-to-sequence model which jointly learns acoustic and language model components. Our models are trained to predict either phonemes or graphemes as subword units, thus allowing us to detect arbitrary keyword phrases, without any out-of-vocabulary words. In order to adapt the models to the requirements of keyword spotting, we propose a novel technique which biases the RNN-T system towards a specific keyword of interest. Our systems are compared against a strong sequence-trained, connectionist temporal classification (CTC) based "keyword-filler" baseline, which is augmented with a separate phoneme language model. Overall, our RNN-T system with the proposed biasing technique significantly improves performance over the baseline system.

研究の動機と目的

• モバイルデプロイメントに適したストリーミングでリソースが限られたキーワード検出システムの開発。
• 音声単位（発音記号やグラフム）を用いることで、未知語（OOV）の問題が生じない任意のキーワードの検出を可能にすること。
• RNN-Tフレームワーク内に新規の注意ベースのバイアス化機構を導入し、特定キーワードの検出精度を向上させること。
• ストリーミングKWS環境下で、発音記号とグラフムのターゲットで学習されたRNN-Tモデルの性能を比較すること。
• 外部言語モデルを備えた強力なCTCベースのキーワードフィラー基準との比較評価

提案手法

• システムは、音声認識と言語モデルの両方を統合的に学習する再帰的ニューラルネットワーク変換器（RNN-T）を用い、シーケンスからシーケンスへのエンドツーエンド学習を実現する。
• モデルは発音記号またはグラフムをサブワード単位として予測するように学習され、未知語の問題が生じない任意キーワードの検出が可能になる。
• 新規のキーワードバイアス化技術は、推論時に特定キーワードに注目する注目メカニズムを用いる。
• バイアス化機構は学習可能な「<eokw>」トークンを導入し、デコード段階でキーワードの発音記号列に注目するように注目重みをスケーリングする。
• キーワード予測の終了を示すために「<eow>」トークンが使用され、これにより、<eow>を含まないモデルと比較して性能が向上する。
• システムは標準的なKWSテストセットを用いて評価され、誤拒否率（FR）および1時間あたりの誤検出率（FA）などの指標が用いられる。

実験結果

リサーチクエスチョン

• RQ1 RNN-Tに基づくシーケンスからシーケンスへのモデルは、ストリーミングでリソースが限られた環境でも競争力のあるキーワード検出性能を達成できるか？
• RQ2 発音記号とグラフムのターゲットで学習した場合、RNN-Tモデルのキーワード検出精度にどのような差が生じるか？
• RQ3 提案された注意ベースのキーワードバイアス化機構は、強力なCTCベースのベースラインと比較して、誤拒否率を顕著に低減できるか？
• RQ4 <eow>トークンはRNN-Tのキーワード検出性能にどのような影響を与えるか？
• RQ5 肯定的発話と否定的発話の両方において、モデルの注目行動はどのように異なるか？

主な発見

• 発音記号ターゲットで学習し、<eow>トークンを用いたRNN-Tモデルは、1時間あたり0.05件の誤検出という条件下で、誤拒否率11.1％を達成し、CTCベースのベースラインを上回った。
• 提案されたキーワードバイアス化技術により、1時間あたり0.05件の誤検出という条件下で誤拒否率が8.9％にまで低下し、ベースラインと比較して相対的に39％の改善が得られた。
• グラフムターゲットで学習したRNN-Tモデルは、発音記号ベースのモデルより性能が劣り、語彙正規化前は誤拒否率15.5％、正規化後は14.0％であった。
• バイアス化されたRNN-Tシステムにおける注目メカニズムは、肯定的発話ではキーワードの発音記号に明確に注目しており、注目重みに対角パターンが見られた。
• 否定的発話では、注目はキーワードの初期発音記号と「<n/a>」トークンに分散しており、キーワードに確実に結びつかないことを示している。
• キーワードごとの誤拒否率のヒストグラムは、大多数が15％未満であり、わずか数例の外れ値を除き、多様なキーワードに対して一貫性のある性能を示している。