[論文レビュー] Wake Word Detection with Alignment-Free Lattice-Free MMI

Yiming Wang, Hang Lv+3 more|arXiv (Cornell University)|May 17, 2020

Speech Recognition and Synthesis参考文献 39被引用数 5

ひとこと要約

本稿では、ハイブリッドDNN/HMMウェイクワード検出のためのアライメントフリーなラティスフリー最大相互情報量（LF-MMI）学習手法を提案する。学習中にフレームレベルのアライメントを必要とせず、精度向上のための専用のサイレントモデルを組み込む。3つの実世界データセットにおいて、指定された誤検出率での誤拒否率を50%〜90%まで低減し、モデルサイズが最小限で学習が簡素化された既存手法を上回る性能を達成した。

ABSTRACT

Always-on spoken language interfaces, e.g. personal digital assistants, rely on a wake word to start processing spoken input. We present novel methods to train a hybrid DNN/HMM wake word detection system from partially labeled training data, and to use it in on-line applications: (i) we remove the prerequisite of frame-level alignments in the LF-MMI training algorithm, permitting the use of un-transcribed training examples that are annotated only for the presence/absence of the wake word; (ii) we show that the classical keyword/filler model must be supplemented with an explicit non-speech (silence) model for good performance; (iii) we present an FST-based decoder to perform online detection. We evaluate our methods on two real data sets, showing 50%--90% reduction in false rejection rates at pre-specified false alarm rates over the best previously published figures, and re-validate them on a third (large) data set.

研究の動機と目的

• ウェイクワード検出におけるLF-MMI学習におけるフレームレベルアライメントへの依存を排除し、ウェイクワードの有無のみを示す部分ラベルデータの利用を可能にする。
• 非音声（サイレント）HMMモデルを明示的に導入することで検出性能を向上させ、背景のサイレントを適切に処理し、誤検出を低減する。
• リアルタイムのウェイクワード検出に特化した効率的なFSTベースのオンラインデコーダを設計する。
• 発音辞書やトランスクリプトを必要とせず、最小限のアーキテクチャ複雑性で実世界のデータセットにおいて最先端の性能を示すことを実証する。

提案手法

• 全ウェイクワードを1つのHMMでモデル化するため、固定数の状態を有する単一のHMMを採用し、発音レベルのHMMを置き換え、モデルの複雑さを低減する。
• 発話の開始および終了にオプションの状態として専用のサイレント（SIL）HMMを導入し、非音声音をモデル化することで、耐性を向上させる。
• 先行モデルからの強制的アライメントを必要とせず、仮説から直接分子グラフを構築することで、アライメントフリーなLF-MMI学習を実装する。
• リアルタイムでの推論に適した高速なFSTベースのデコーダを採用し、ウェイクワードスコアとフィラー（雑音）スコアの比を効率的に計算する。
• フレームレベルの正確性ではなく、シーケンスレベルの検出性能を最適化するため、LF-MMIを用いたシーケンスレベルの判別的学習を適用する。
• アライメントフリーなモデルから生成されたアライメントを用いた通常のLF-MMI学習の第二段階を適用し、反復的改善によって性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ウェイクワード検出において、性能を維持または向上させながら、LF-MMI学習をアライメントフリーにできるか？
• RQ2 専用のサイレントモデルの導入が、特に誤検出の低減に顕著な効果をもたらすか？
• RQ3 固定数の状態を有する単一のHMMが、発音状態の分解なしに全ウェイクワードを効果的にモデル化できるか？
• RQ4 従来のフレームレベルアライメントベースの手法やエンドツーエンド手法と比較して、本手法の誤拒否率および誤検出率はどのように異なるか？
• RQ5 トランスクリプトや発音辞書、強制的アライメントを一切必要とせず、実世界のデータセットで優れた性能を達成できるか？

主な発見

• アライメントフリーなLF-MMI手法により、SNIPSデータセットでは誤検出率（FAH）0.5における誤拒否率（FRR）が0%にまで低下し、以前の最高成績（0.12% FRR）を上回った。
• Mobvoiデータセットでは、FAH=1.5におけるFRRを90%相対的に低減（0.4% vs. 約3.6%）し、最先端のアテンションベース手法を上回った。
• Mobvoi（SLR87）データセットでは、FAH=0.5におけるFRRを50%〜70%まで低減（2つのウェイクワードでそれぞれ0.4%および0.5%）し、ベースライン手法を上回った。
• 専用のサイレントモデルの追加により、特にトーンの変化や非音声音に起因する誤検出の低減が顕著に改善された。
• アライメントフリーなモデルから生成されたアライメントを用いた通常のLF-MMI学習のリファインメント段階により、SNIPSではFRRが0.2%から0.1%に、Mobvoiでは0.4%から0.3%に低下し、段階的で継続的な性能向上が確認された。
• わずか15万パラメータで優れた性能を達成した。これは、シーケンスレベルの判別的基準で学習されたコンパクトなモデルが、より大きな複雑なアーキテクチャを上回ることを示している。