[論文レビュー] DONUT: CTC-based Query-by-Example Keyword Spotting

Loren Lugosch, Samuel Myer+1 more|arXiv (Cornell University)|Nov 26, 2018

Speech Recognition and Synthesis参考文献 11被引用数 6

ひとこと要約

DONUT は、ユーザーが提供する音声例からビームサーチを用いてラベル系列の仮説を学習し、テスト音声を統合された仮説スコアでスコアリングすることで、個人向けのウェイクワード検出を可能にする CTC に基づくクエリ・バイ・エクサムプ・キーワードスプライティングシステムである。低コストの計算負荷と解釈可能なモデルを実現し、プライベートな音声データをアップロードせずにデバイス内での学習が可能である。

ABSTRACT

Keyword spotting--or wakeword detection--is an essential feature for hands-free operation of modern voice-controlled devices. With such devices becoming ubiquitous, users might want to choose a personalized custom wakeword. In this work, we present DONUT, a CTC-based algorithm for online query-by-example keyword spotting that enables custom wakeword detection. The algorithm works by recording a small number of training examples from the user, generating a set of label sequence hypotheses from these training examples, and detecting the wakeword by aggregating the scores of all the hypotheses given a new audio recording. Our method combines the generalization and interpretability of CTC-based keyword spotting with the user-adaptation and convenience of a conventional query-by-example system. DONUT has low computational requirements and is well-suited for both learning and inference on embedded systems without requiring private user data to be uploaded to the cloud.

研究の動機と目的

• 再トレーニングやクラウドベースのデータ処理を必要とせずに、音声制御デバイスにおける個人化されたユーザー定義ウェイクワードのニーズに対応すること。
• CTC に基づくキーワードスプライティングの解釈可能性と、クエリ・バイ・エクサムプ・システムのユーザー適応性を統合すること。
• 組み込みシステムに適した、効率的で計算負荷の低い推論を実現すること。トレーニングはユーザーのデバイス上でローカルに実行される。
• ユーザーの発音に合わせて直接ラベル系列を学習することで、テキストベースのラベル入力よりも優れた個別発音の一致を実現し、検出精度を向上させること。

提案手法

• システムは、ユーザーが提供するトレーニング用音声例から、ニューラルネットワークの出力に対してビームサーチを実行し、N個の最良のラベル系列仮説を生成する。
• 各仮説は、テスト音声に対して CTC の前方アルゴリズムを用いてスコアリングされ、トレーニング時の仮説の尤度に基づく重み付き和によってスコアが集約される。
• CTC 出力のスパarsity と解釈可能性を活用し、モデルが認識している音素を確認することでデバッグが可能になる。
• ユーザーの音声のみを用いてデバイス内でトレーニングが実行され、クラウドへのデータ送信を回避し、プライバシーを保護する。
• アルゴリズムは、各仮説のトレーニング時の対数尤度に反比例する重みを用いた仮説スコアの重み付き和を利用する。
• 最小限のメモリと計算リソースで効率的な推論が可能であり、組み込みシステムへのデプロイに適している。

実験結果

リサーチクエスチョン

• RQ1 クエリ・バイ・エクサムプ・キーワードスプライティングシステムは、高い精度を維持しながら解釈可能で計算コストが低い状態を実現できるか？
• RQ2 ユーザーの発音に直接ラベル系列を学習する方法と、テキストベースのラベルを用いる方法とを比較した場合、ユーザー発音の一致度はどのように異なるか？
• RQ3 ビームサーチの幅と仮説数が検出性能に与える影響は何か？
• RQ4 CTC の解釈可能性を活用して、誤認識された音素（例：「of」の 'V' が一部のケースで 'N' として認識される）を特定し、ターゲットドリフトデータ拡張やモデルの最適化が可能か？
• RQ5 対数尤度に基づく重み付き和による仮説集約は、logsumexp を用いた代替手法を上回る性能を示すか？

主な発見

• DONUT は、ビーム幅 100 および 100 個の仮説を用いて、英語・フェイシュットデータセットで等誤り率（EER）3.1% を達成し、より多くの仮説を考慮するほど性能が向上する。
• 単純なグリーディ検索（B=1, N=1）でも EER 4.2% を達成しており、最小限のビームサーチでも強力なベースライン性能を示している。
• ラベルモデルの品質が検出性能に直接影響する：11.5% の音素誤り率を示す 3x512 モデルでは、EER がわずか 1.4% にまで低下する。
• 仮説スコアの重み付き和集約は、logsumexp を用いた集約法を上回る性能を示す。これは、logsumexp が単一の仮説に偏る傾向があるため、不確実性の平滑化に失敗する可能性があるためと推測される。
• システムは、ユーザーの音声データをアップロードする必要なくデバイス内でのトレーニングを可能にし、プライバシーを保護しながら発話者適応型ウェイクワード検出を実現する。
• 解釈可能性により、システム設計者が誤認識された音素（例：「of」の 'V' が一部のケースで 'N' として認識される）を特定でき、ターゲットドリフトデータ拡張やモデルの最適化が可能になる。