[論文レビュー] A Monaural Speech Enhancement Method for Robust Small-Footprint Keyword Spotting

Yue Gu, Zhihao Du+2 more|arXiv (Cornell University)|Jun 20, 2019

Speech Recognition and Synthesis参考文献 18被引用数 4

ひとこと要約

本稿では、新規の畳み込み再帰型ネットワーク（CRN）とエンド・ツー・エンド学習を用いて、ノイズに強いキーワード検出（KWS）のための、共同最適化・小型化されたモノラル音声強調手法を提案する。音声強調フロントエンドとCNNベースのKWSモデルを統合し、バックプロパゲーションによる共同学習を実施することで、特にメルスペクトログ램入力において、BiLSTMベースの手法と比較してモデルサイズと計算量を削減しつつも、著しくノイズ耐性が向上する。

ABSTRACT

Robustness against noise is critical for keyword spotting (KWS) in real-world environments. To improve the robustness, a speech enhancement front-end is involved. Instead of treating the speech enhancement as a separated preprocessing before the KWS system, in this study, a pre-trained speech enhancement front-end and a convolutional neural networks (CNNs) based KWS system are concatenated, where a feature transformation block is used to transform the output from the enhancement front-end into the KWS system's input. The whole model is trained jointly, thus the linguistic and other useful information from the KWS system can be back-propagated to the enhancement front-end to improve its performance. To fit the small-footprint device, a novel convolution recurrent network is proposed, which needs fewer parameters and computation and does not degrade performance. Furthermore, by changing the input features from the power spectrogram to Mel-spectrogram, less computation and better performance are obtained. our experimental results demonstrate that the proposed method significantly improves the KWS system with respect to noise robustness.

研究の動機と目的

• リソース制限のあるデバイスにおける、現実のノイズ環境下でのキーワード検出（KWS）の耐性向上に挑戦する。
• 大規模モデルを必要とするマルチコンディション学習の限界を克服し、小型化されたデプロイメントに不適切なモデルを回避する。
• パフォーマンスを損なわせることなく、パrameter数と計算量を削減する軽量な音声強調フロントエンドを開発する。
• 強調とKWSモデルの共同学習によりKWSの耐性を向上させ、言語的情報が強調プロセスをガイドできるようにする。
• 特徴空間（パワースペクトログラム対メルスペクトログラム）が、KWSタスクにおけるモデル効率性とパフォーマンスに与える影響を調査する。

提案手法

• 計算コストの高いBiLSTMモデルに代わる、軽量な音声強調フロントエンドとして、新規の畳み込み再帰型ネットワーク（CRN）を提案する。
• 強化されたスペクトログラムをMFCCに変換する特徴変換ブロックを介して、強化モデルとCNNベースのKWSシステムを統合する。
• KWSシステムからの勾配が強化フロントエンドの更新に利用できるよう、エンド・ツー・エンドで全システムを共同最適化して学習する。
• 音声強調の目的関数として、理想比率マスク（IRM）を用い、予測マスクと理想マスクの平均二乗誤差（MSE）を最小化する。
• ノイズスペクトログラムと予測マスクを要素ごとの積算により乗算し、強化されたスペクトログラムを生成する。
• KWSシステムへの入力としてメルスペクトログラムを用い、パワースペクトログラムと比較して、より高い効率性と耐性を示すことを評価する。

実験結果

リサーチクエスチョン

• RQ1 計算コストを増加させることなく、軽量で小型化された音声強調モデルが、ノイズ環境下でのキーワード検出の耐性を向上させられるか？
• RQ2 強調モデルとKWSモデルの共同学習は、分離学習やマルチコンディション学習よりも優れたパフォーマンスを達成するか？
• RQ3 メルスペクトログラムはパワースペクトログラムよりも、音声強調フロントエンドを備えたKWSシステムにおいて優れた入力表現か？
• RQ4 強調モデルはキーワードに含まれる音素記号の数に対してどれほど感受性を示すか？また、特徴空間の選択がその感受性に影響を与えるか？
• RQ5 本手法は、学習データに含まれない未観測のノイズ条件に対しても、十分に一般化できるか？

主な発見

• 共同学習戦略は、マルチコンディション学習および分離学習を著しく上回り、一致するノイズ条件下でのテストセットで93.17%の精度を達成した。
• MelCRN32モデルは、全モデルの中で最小の誤拒否率（FRR）1.19%と誤検出率（FAR）6.20%を達成し、BiLSTMおよびPowCRNバージョンを上回る性能を示した。
• メルスペクトログラムベースのモデルは、周波数バンド数を削減することで計算量を低減しつつ、パワースペクトログラムと比較してパフォーマンスを維持または向上させた。
• 共同学習されたMelCRN32モデルは、不一致ノイズ条件（100種類の未学習ノイズ）下でも78.12%の精度を達成し、BiLSTMおよび他のCRNバージョンを上回った。
• メルスペクトログラムベースのモデルは、キーワードに含まれる音素記号の数に対する感受性が低く、パワースペクトログラムベースのモデルと比較してAUC低下が少なかった。
• 狭帯域モデル（MelCRN16およびPowCRN16）は、全サイズモデルと同等の性能を達成しながら、顕著に少ないパrameter数と低い計算量を実現し、小型化デバイスに適した設計であった。