[論文レビュー] Training Keyword Spotters with Limited and Synthesized Speech Data

James Lin, Kevin Kilgour+2 more|arXiv (Cornell University)|Jan 31, 2020

Speech Recognition and Synthesis参考文献 15被引用数 7

ひとこと要約

本論文では、事前学習済み音声埋め込みモデルを用いて、実世界の学習データの必要を著しく削減する2段階のキーワード検出フレームワークを提案する。埋め込みモデルを用いて抽出した合成音声データ上で軽量なヘッドモデルをファインチューニングすることで、92.6%の精度に到達し、1キーワードあたり4,000例以上の実データで学習したフルモデルと同等の性能を示した。これは、合成データが低リソースなキーワード検出シナリオにおいて、高価な実データを効果的に代替可能であることを示している。

ABSTRACT

With the rise of low power speech-enabled devices, there is a growing demand to quickly produce models for recognizing arbitrary sets of keywords. As with many machine learning tasks, one of the most challenging parts in the model creation process is obtaining a sufficient amount of training data. In this paper, we explore the effectiveness of synthesized speech data in training small, spoken term detection models of around 400k parameters. Instead of training such models directly on the audio or low level features such as MFCCs, we use a pre-trained speech embedding model trained to extract useful features for keyword spotting models. Using this speech embedding, we show that a model which detects 10 keywords when trained on only synthetic speech is equivalent to a model trained on over 500 real examples. We also show that a model without our speech embeddings would need to be trained on over 4000 real examples to reach the same accuracy.

研究の動機と目的

• 低消費電力でオンデバイスに実装するキーワード検出モデルの学習にかかるデータ収集負担を軽減すること。
• 合成音声データが、小型で効率的なキーワード検出モデルの学習において、実際の音声データを効果的に代替可能かどうかを調査すること。
• キーワード検出のための特徴抽出器として事前学習済み音声埋め込みモデルを用いることで得られる性能向上を評価すること。
• データ要件を最小限に抑えつつ高い精度を維持するための、実データと合成データの最適なバランスを特定すること。
• 最小限の実データでスマートデバイス向けのカスタムキーワード検出器を迅速にプロトタイプ化することを可能にすること。

提案手法

• 2段階のモデルアーキテクチャを採用：事前学習済みの330kパラメータの音声埋め込みモデルと、キーワード検出用の軽量55kパラメータのヘッドモデル。
• 96次元の埋め込みを生成できるように、2億個のYouTube音声クリップ（キーワード付き1億件、なし1億件）を用いて埋め込みモデルを学習した。この埋め込みは任意のキーワードセットに有用である。
• 合成音声は、Tacotron 2ベースのテキスト対音声システムを用いて生成され、ヘッドモデルの学習データとして使用された。
• ヘッドモデルは、合成データまたは実データ上でファインチューニングされ、キーワード検出精度を評価した。
• アブレーションスタディでは、実データのみ、合成データのみ、および混合実・合成データで学習したモデルを比較し、データ効率を評価した。
• 事前学習段階で、複数のキーワード検出タスクに共通の埋め込みバックボーンを共有することで、トランスファーラーニングを活用した。

実験結果

リサーチクエスチョン

• RQ1 完全に合成音声データでのみ学習したキーワード検出器が、大規模な実データで学習したモデルと同等の性能を達成できるか？
• RQ2 事前学習済み埋め込みモデルを用いる場合、合成データで学習したモデルの性能に到達するには、どの程度の実データが必要か？
• RQ3 データ収集を最小限に抑えつつ高い検出精度を維持するための、実データと合成データの最適な組み合わせは何か？
• RQ4 音声埋め込みを用いることで、効果的なキーワード検出器を学習するための実例数を著しく削減できるか？
• RQ5 合成データで学習した軽量ヘッドモデルが、少数の実データ（125例/キーワード）で学習したフルモデルを上回る性能を示せるか？

主な発見

• 合成音声データのみで学習したキーワード検出器が92.6%の精度を達成し、1キーワードあたり4,000例以上の実データで学習したフルモデルと同等の性能を示した。
• 音声埋め込みを用いることで、実データの必要量を90%削減可能である：埋め込みを用いたヘッドモデルが1キーワードあたり50例の実データで学習した場合、500例の実データで学習したフルモデルと同等の性能を達成した。
• 3,000例の実データで学習した場合、埋め込みを用いたヘッドモデルは95.3%の精度に到達し、ベースラインモデルと比較して相対誤差を58%削減した。
• 合成データの50%を実データに置き換えることで、精度のギャップは90%削減された。これは、少量の実データが性能向上に顕著に寄与していることを示している。
• 1キーワードあたり5例の実データでのみ学習したヘッドモデルが、1キーワードあたり125例の実データで学習したフルモデルを上回る性能を示した。
• 合成データのみで学習したヘッドモデルは、125例の実データで学習したフルモデルでさえも、パラメータ数が多くても常に上回った。