[論文レビュー] An Ultra-low Power RNN Classifier for Always-On Voice Wake-Up Detection Robust to Real-World Scenarios

Emmanuel Hardy, Franck Badets|arXiv (Cornell University)|Mar 8, 2021

Speech and Audio Processing参考文献 22被引用数 5

ひとこと要約

本稿では、注意深く選別されたデータセットと損失関数を用いて、実世界のノイズに強く耐性を持つように最適化された、常にオンの音声ウェイクアップ検出のための超低消費電力RNNベースの分類器を提示する。65nm CMOSプロセスで45 nWの消費電力と0.52 kBのメモリを実現し、1%未満のデューティーサイクルで3%未満のノートリガー率を達成しており、従来のVADアプローチを上回り、発話の開始時刻を正確に特定している。

ABSTRACT

We present in this paper an ultra-low power (ULP) Recurrent Neural Network (RNN) based classifier for an always-on voice Wake-Up Sensor (WUS) with performances suitable for real-world applications. The purpose of our sensor is to bring down by at least a factor 100 the power consumption in background noise of always-on speech processing algorithms such as Automatic Speech Recognition, Keyword Spotting, Speaker Verification, etc. Unlike the other published approaches, we designed our wake-up sensor to be robust to unseen real-world noises for realistic levels of speech and noise by carefully designing the dataset and the loss function. We also specifically trained it to mark only the speech start rather than adopting a traditional Voice Activity Detection (VAD) approach. We achieve less than 3% No Trigger Rate (NTR) for a duty cycle less than 1% in challenging background noises pooled using a model of an analogue front-end. We demonstrate the superiority of RNNs on this task compared to the other tested approaches, with an estimated power consumption of 45 nW for the RNN itself in 65nm CMOS and a minimal memory footprint of 0.52 kB.

研究の動機と目的

• 常にオンの音声処理システムのバックグラウンド消費電力を100分の1以下に低減すること。
• 現実の音声レベルとノイズレベルにおける、予期しない実世界のノイズ環境に対しても耐性を持つウェイクアップセンサを開発すること。
• 継続的な音声活動検出ではなく、発話の開始時刻のみを検出するようにモデルを訓練することで、効率性を向上させること。
• 超低消費電力（45 nW）と最小限のメモリ（0.52 kB）を実現するため、65nm CMOSプロセス技術をターゲットにしたハードウェアリソースの最小化を図ること。
• 厳しい音響条件下で、既存の手法を上回る耐性と効率性を発揮すること。

提案手法

• 著者らは、実世界のノイズレベルと多様な実環境条件を再現するように設計されたカスタムデータセットを構築し、RNN分類器の学習に用いた。
• 従来のVADスタイルの継続的活性化を避けるために、発話開始時刻の正確な検出を重視する専用の損失関数を開発した。
• RNNモデルは、与えられた音声セグメントに発話の開始が含まれるかどうかを分類するように、エンドツーエンドで訓練された。
• 実世界の信号劣化とノイズを模擬するため、シミュレーテッドアナログフロントエンドモデルを用いてシステムを評価した。
• 最終的なモデルは、超低消費電力CMOSハードウェアへのデプロイを想定し、65nmプロセス技術に最適化された。
• モデルの量子化とハードウェアに配慮したトレーニング技術を適用することで、45 nWの消費電力と0.52 kBのメモリフットプリントを達成した。

実験結果

リサーチクエスチョン

• RQ1 RNNベースの分類器は、多様で予期しない実世界のノイズ環境においても、堅牢なウェイクアップ検出を達成できるか？
• RQ2 継続的な音声活動検出ではなく、発話開始時刻の検出を目的とした学習は、消費電力効率と精度を向上させるか？
• RQ3 65nm CMOS実装において、超低消費電力（45 nW）と最小限のメモリ（0.52 kB）を実現しつつ、高い性能を維持できるか？
• RQ4 従来のVADおよび他のベースライン手法と比較して、本手法はノートリガー率とデューティーサイクルの観点でどのように優れているか？
• RQ5 データセットと損失関数の設計が、実世界のノイズに対する耐性をどの程度向上させるか？

主な発見

• RNN分類器は、厳しいバックグラウンドノイズ条件下でも1%未満のデューティーサイクルで3%未満のノートリガー率を達成した。
• モデルは65nm CMOSでわずか45 nWの消費電力に抑えられ、バックグラウンド消費電力が顕著に削減された。
• システムはわずか0.52 kBのメモリしか必要としないため、リソース制限のある組み込み環境への適合が可能である。
• RNNは他のテストされた手法を上回り、優れた耐性と効率性を示した。
• カスタムデータセットと損失関数の設計が、予期しない実世界のノイズに対する耐性を顕著に向上させた。
• システムは高精度で発話開始時刻を検出でき、非発話セグメントでの誤トリガーを回避した。