[論文レビュー] Sequence-to-sequence Models for Small-Footprint Keyword Spotting

Haitong Zhang, Junbo Zhang+1 more|arXiv (Cornell University)|Nov 1, 2018

Topic Modeling参考文献 14被引用数 6

ひとこと要約

本論文では、固定スライディングウィンドウの必要性を排除することで、エンド・ツー・エンドのKWSパイプラインを簡素化し、低遅延・小サイズの推論を可能にする、シーケンス・ツー・シーケンス（seq2seq）キーワードスプライティング（KWS）モデルを提案する。わずか約73Kのパラメータで、実世界のウェイクアップデータにおいて1時間あたり0.1件の誤検出率で3.05%の誤拒否率を達成し、アテンションベースのベースラインを上回る性能を示し、フレーム単位の確率スムージングにより高い耐障害性を実現している。

ABSTRACT

In this paper, we propose a sequence-to-sequence model for keyword spotting (KWS). Compared with other end-to-end architectures for KWS, our model simplifies the pipelines of production-quality KWS system and satisfies the requirement of high accuracy, low-latency, and small-footprint. We also evaluate the performances of different encoder architectures, which include LSTM and GRU. Experiments on the real-world wake-up data show that our approach outperforms the recently proposed attention-based end-to-end model. Specifically speaking, with 73K parameters, our sequence-to-sequence model achieves $\sim$3.05\% false rejection rate (FRR) at 0.1 false alarm (FA) per hour.

研究の動機と目的

• 固定スライディングウィンドウに依存するか、トレーニングとデコード戦略に不一致を生じる既存のエンド・ツー・エンドKWSモデルの限界を解消すること。
• モバイルデバイス向けに高精度かつ小メモリフットプリントを実現する軽量で低遅延のKWSシステムを開発すること。
• seq2seqフレームワークにおけるRNNエンコーダー（LSTMとGRU）の性能を評価すること。
• 確率スムージングが検出の耐障害性および性能安定性に与える影響を調査すること。

提案手法

• 入力は音声特徴量、出力はフレーム単位のキーワード存在を示すワンホットラベルである、シーケンス・ツー・シーケンスのトレーニングパラダイムを採用する。
• TDNN-LSTMモデルからのフレーム単位のアライメントを用いてトレーニングラベルを生成し、曖昧なフレーム（例：キーワードの一部）は-1としてラベル付けされ、損失関数でゼロ重みが適用される。
• アテンションメカニズムにより、エンコーダーの隠れ状態からコンテキストベクトルを計算し、ソフトマックス層を介して最終的なキーワード確率を出力する。
• 推論時、モデルは1フレームずつ処理し、各フレームの検出確率を出力する。その後、n個の連続フレームにわたって確率をスムージングすることで信頼性を向上させる。
• スムージング処理はnフレームの平均確率を計算する：$\hat{y}_t = \frac{1}{n} \sum_{i=t-n+1}^{t} y_i$。
• モデルは正規化された重み初期化とAdam最適化を用いた交差エントロピー損失でトレーニングされる。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドのキーワードスプライティングにおいて、固定スライディングウィンドウの必要性を排除しつつ、精度を維持または向上させることができるか？
• RQ2 実世界データにおいて、提案されたseq2seqモデルはアテンションベースのベースラインと比較して、FRRおよびFA率の点でどのように性能を発揮するか？
• RQ3 エンコーダー構造（LSTM対GRU）および幅（64対128ユニット）が、モデルの精度およびパラメータ数に与える影響は何か？
• RQ4 フレーム単位の確率スムージングは、検出の耐障害性および誤拒否率の低減に寄与するか？

主な発見

• 1層128ユニットのGRUベースのseq2seqモデルは、1時間あたり0.1件の誤検出率で3.05%の誤拒否率を達成し、ベースラインのGRUモデルを約20%上回る性能を示した。
• 1-128のGRUモデルは、わずか73.3Kのパラメータで3.05%のFRRを達成し、高い効率性と小サイズのフットプリントを実現した。
• 1-128のモデル（LSTMおよびGRU両方）は、より深いまたはより細いバージョンを著しく上回り、この設定では幅広いネットワークが深いネットワークよりも優れた性能を発揮することを示した。
• n=12での確率スムージングにより、GRU 1-128モデルのFRRはスムージングなしと比較して0.06%低下し、耐障害性向上の有効性が確認された。
• ベースラインモデルのアテンションメカニズムは最終文字に強く集中するが、seq2seqモデルはキーワード全体が認識された後のみアテンションを発動するなど、より人間らしいアテンションパターンを学習している。