[論文レビュー] Small-Footprint Open-Vocabulary Keyword Spotting with Quantized LSTM Networks

Théodore Bluche, Maël Primet+1 more|arXiv (Cornell University)|Feb 25, 2020

Speech Recognition and Synthesis被引用数 11

ひとこと要約

本論文は、接続主義的時系列分類（CTC）で訓練された量子化LSTMネットワークを用いて、500KB未満のモデルサイズでマイコン上でリアルタイムに動作する、小型でオープンボキャブラリーなキーワード検出システムを提示している。CTC出力の特性を活用して信頼性の高いスコアを生成し、効率的なデコードを実現することで、キーワード固有の訓練データが不要なオープンボキャブラリー課題において高いF1スコアを達成し、標準的なフィラー・モデルのベースラインを上回っている。

ABSTRACT

We explore a keyword-based spoken language understanding system, in which the intent of the user can directly be derived from the detection of a sequence of keywords in the query. In this paper, we focus on an open-vocabulary keyword spotting method, allowing the user to define their own keywords without having to retrain the whole model. We describe the different design choices leading to a fast and small-footprint system, able to run on tiny devices, for any arbitrary set of user-defined keywords, without training data specific to those keywords. The model, based on a quantized long short-term memory (LSTM) neural network, trained with connectionist temporal classification (CTC), weighs less than 500KB. Our approach takes advantage of some properties of the predictions of CTC-trained networks to calibrate the confidence scores and implement a fast detection algorithm. The proposed system outperforms a standard keyword-filler model approach.

研究の動機と目的

• キーワード固有の再訓練やキーワード固有のデータが不要な、任意のユーザー定義キーワードをリアルタイムでデバイス内に検出可能にする。
• IoT機器やエッジデバイス向けに最適化された、500KB未満のコンactな量子化ニューラルネットワークの設計。
• CTCで訓練されたネットワークの構造的特性を活用し、自然言語クエリ内で複数のキーワードを効率的かつ正確に検出可能にする。
• 計算コストの低いオーバーヘッドで、LVCSR やキーワード・フィラー・モデルなどの既存ベースラインを、オープンボキャブラリー環境で上回る。

提案手法

• 汎用のASRデータ上で接続主義的時系列分類（CTC）を用いて量子化された長短期記憶（LSTM）ネットワークを訓練し、キーワードレベルのアノテーションが不要なエンドツーエンド学習を実現する。
• CTCスコアをブランクフレーム数の推定値で除算する信頼性スコア正規化技術を採用し、検出精度を向上させる。
• デコード中にブランクフレームを飛ばす検出アルゴリズムを採用することで、計算量を半減させつつ性能を維持する。
• グリーディまたはシーケンスベースの後処理ステップにより、CTC出力ラティスからキーワードシーケンスを特定し、最小編集距離または類似基準を用いる。
• 重みの量子化とアーキテクチャのプルーニングにより、推論速度とメモリ使用量を最適化し、500KB未満のモデルサイズを達成する。
• 別個のフィラー・モデルを必要としないように、CTCネットワークが電話後報確率を直接予測でき、可変長シーケンスを処理できる能力を活用する。

実験結果

リサーチクエスチョン

• RQ1 CTCで訓練された量子化LSTMモデルは、キーワード固有のファインチューニングなしに、自然言語クエリ内で任意のユーザー定義キーワードを検出可能か？
• RQ2 ブランクフレームの推定に基づく信頼性スコア正規化は、オープンボキャブラリーなキーワード検出における検出精度にどのように影響するか？
• RQ3 デコード中にブランクフレームを飛ばすことで、速度と精度の両面でどの程度の性能向上が得られるか？
• RQ4 本手法は、ビタービデコードを用いたLVCSRやキーワード・フィラー・モデルといった標準ベースラインと比較して、オープンボキャブラリー環境でどのように性能を発揮するか？
• RQ5 500KB未満の小型で量子化されたモデルは、最小限のレイテンシで実世界のミニ-SLUタスクにおいて競争力のある性能を達成可能か？

主な発見

• 量子化された5x96 LSTMアーキテクチャを用いた本手法は、騒音環境下で「スマートライト」データセットでF1スコア0.808、「洗濯機」データセットで0.725を達成し、フィラー・モデルベースラインを上回った。
• 推定ブランクフレーム数で正規化した信頼性スコア（C_nb）が、すべてのデータセットで最良の検出性能を示し、原始的な信頼性スコアに比べてF1スコアを最大10%向上させた。
• デコード中にブランクフレームを飛ばすことで、2倍の高速化が達成されたが、精度に悪影響を及げなかった。
• シーケンスベースの後処理により、グリーディアプローチを上回る検出性能が得られ、特に「洗濯機」データセットでは、より大きなTDNN-LSTMネットワークを用いた場合でもフィラー・モデルを上回った。
• モデルサイズが500KB未満に抑えられ、マイコン上でリアルタイム推論が可能であり、騒音環境下でも安定性を維持した。
• LVCSR「トランスクリプト」ベースラインやラティスベースのアプローチを上回り、CTCベースのオープンボキャブラリー検出が、標準的なASRパイプラインに比べて優位性を示した。